JEV - El lubricante en los nodos de control

Muchos nodos de una cadena de Agent quieren una rama, no un párrafo. Jev se sienta en los nodos de control, y la generación se queda en el único paso que tiene que escribir. Al precio publicado, esos nodos dejan de comprar token de salida.

JEV - El lubricante en los nodos de control

Coautor: folkbench.com (Folkbench es una plataforma revisable de evaluación y selección de API de IA, servicios de modelos y sitios relacionados. Se apoya en información de servicio publicada, precios, disponibilidad, latencia y ventanas de evidencia para ayudar a los usuarios a comparar y a elegir un camino.)

Diez textos en esta serie:

No poder chatear es una ventaja dentro de una cadena de Agent. Una petición de usuario suele pasar por intención, ranuras, recuperación, herramientas y una revisión. Esos nodos no quieren un párrafo. Quieren una rama. Si cada paso contrata a un modelo que escribe, el P99 y la factura suben juntos. Jev se sienta en los nodos de control como lubricante: el juicio es una distribución, y la frase se deja al único paso que de verdad tiene que generar.

Dónde está la fricción

Una petición ya no es una sola lectura de base de datos. Es un grafo dirigido: intención, encaminamiento, compresión del contexto, herramientas, autocorrección, un resumen. El cuello de botella se mueve de la E/S a la latencia y al precio de las llamadas a modelos grandes. De 10 a 20 llamadas de fondo en una cadena de colaboración es lo ordinario. Cuelga un modelo insignia en los 6 pasos y la cola supera con facilidad los 10 segundos.

[user request]
   │
   ▼
1. Intent and route
   │
   ▼
2. Slots and checks
   │
   ▼
3. Retrieval and rerank
   │
   ▼
4. Tool choice (loop)
   │
   ▼
5. The content that must be written
   │
   ▼
6. Review and format
   │
   ▼
[response]

La demora se apila

El primer token de un modelo de chat suele estar ya en unos cientos de milisegundos, y la generación añade más. 6 pasos en serie esperan cada primer token y cada generación. Una probabilidad pequeña de cola en cada paso basta para arrastrar el P99 de toda la cadena por encima de 10 segundos. El SLA se rompe primero ahí.

Los nodos de control no se cobran como chat

De esos 6 pasos, los que tienen que razonar en abierto y terminar una frase suelen ser solo 2 o 3 décimas. El resto es clasificación, comprobaciones y cambios de estado. Pagar el precio de salida de un modelo insignia por un juicio de sí o no trata el flujo de control como redacción.

Separar el control del razonamiento

El lubricante no sustituye el razonamiento profundo. Sustituye el control de alta frecuencia.

  1. El plano de control usa Jev. Encaminamiento, comprobaciones, clasificación, juicio ligero. Lo que necesita es una salida cerrada y una concurrencia que se pueda repartir.
  2. El plano de razonamiento usa un modelo que puede hablar. Texto largo, planes de varios pasos, el tramo que hay que explicar a una persona. El gasto y la lentitud pueden quedarse ahí, porque ese paso iba a generar de todos modos.
user request
   │
   ▼
[Jev] intent and route
   │
   ├──────────────┐
   ▼              ▼
[Jev] slot check [Jev] intercept
   │              │
   └──────┬───────┘
          ▼
[flagship] only this step generates
          │
          ▼
[Jev] review: out of bounds, or which rung
          │
          ▼
       response

De ahí siguen tres consecuencias de ingeniería:

  • Los nodos de control ya no crecen token a token. Su latencia se queda en la banda publicada, unos 70 a 500 milisegundos de extremo a extremo, en lugar de una generación completa.
  • La concurrencia ya no se atasca detrás de «termina primero el párrafo».
  • El nodo de revisión recibe una distribución, no una cadena de JSON que podría romperse. Una fuente de tormentas de reintento se hace más pequeña.

Una cuenta

Los precios de abajo son una hipótesis, para mostrar la forma. No son la lista de precios de este sitio, y no son una factura. El modelo de chat insignia se estima en $2.50 por millón de token de entrada y $10 por millón de token de salida. Jev usa las cifras publicadas: $0.042 por millón de token de entrada, y la salida no se factura. El volumen es 1 millón de peticiones al día.

La hipótesis

5 pasos por petición:

  • Intención: 300 de entrada, 50 de salida
  • Estado y recorte: 1000 de entrada, 100 de salida
  • Argumentos de la herramienta: 800 de entrada, 150 de salida
  • Generación central: 1500 de entrada, 800 de salida
  • Revisión: 1000 de entrada, 200 de salida

Dos cableados

  • Plan A: los 5 pasos son el modelo insignia.
  • Plan B: solo la generación central se queda en el modelo insignia. Los otros 4 pasos pasan a Jev. Los pasos de control no pagan los token de salida.

Coste

El plan A mueve 4.6 mil millones de token de entrada y 1.3 mil millones de token de salida al día. La entrada es $11,500, la salida es $13,000, juntos $24,500. 30 días son unos $735,000.

El plan B envía 3.1 mil millones de token de entrada por los 4 pasos de Jev. A $0.042 por millón de token eso es unos $130, y el cargo de salida es 0. La generación central sigue siendo $3,750 de entrada más $8,000 de salida, $11,750. Juntos son unos $11,880 al día, y unos $356,000 a lo largo de 30 días.

El gasto mensual baja cerca de la mitad. Lo que baja es, sobre todo, los token de salida que los nodos de control ya no compran.

Demora

Medida Plan A Plan B
Cuatro nodos de control Unos 450 ms de generación cada uno, unos 1.8 s Dentro de la banda publicada de 70–500 ms, cuatro llamadas unos 0.28–2 s
Coste de API al día $24,500 Unos $11,880
Los nodos de control generan token a token Sí No

En el extremo rápido, el sobrecoste de control queda claramente por debajo de 4 generaciones completas. En el extremo lento, 4 llamadas a 500 ms pueden acercarse a una generación larga, así que no describas el lubricante como unas pocas decenas de milisegundos garantizadas. Lo que compra el corte es que la salida ya no se cobra como chat, y que el juicio se puede separar de la generación.

Tres sitios donde ponerlo

Primero la ruta

Antes de que una petición entre en el razonamiento central, pide a Jev una clasificación cerrada. Si una respuesta preparada o una caché pueden contestar, el código la devuelve. Solo el peldaño que significa «esto hay que desarrollarlo» despierta al modelo caro. Jev no escribe esa respuesta.

def handle_incoming_request(user_payload):
    route = jev_client.choice(
        state=user_payload.text,
        options=["FAST_ACK", "SIMPLE_QUERY", "DEEP_REASONING"],
    )
    if route.top == "FAST_ACK":
        return canned_ack(user_payload)
    if route.top == "DEEP_REASONING" and route.probability >= 0.8:
        return call_heavy_llm_pipeline(user_payload)
    return canned_ack(user_payload)

La extracción tiene que ser dura

Los argumentos de una herramienta no deberían sacarse de un párrafo con comentarios dentro. Deja que Jev proyecte el texto borroso sobre campos y enumeraciones que ya estaban listados. Aguas abajo llega una distribución y una opción superior, no un análisis de JSON que podría fallar.

Adelgazar el contexto

Decenas de miles de token de historial, empujados tal cual al modelo principal, son caros y fáciles de perder por el medio. Una pregunta cerrada en medio descarta los turnos irrelevantes y conserva el estado que importa. El modelo principal ve entonces una entrada más corta. La regla de qué descartar tiene que ser una pregunta, no «por favor, resume esto».

Serie