JEV - Le lubrifiant sur les nœuds de contrôle

Beaucoup de nœuds dans une chaîne d'Agent veulent une branche, pas un paragraphe. Jev se place sur les nœuds de contrôle, et la génération reste à l'unique étape qui doit écrire. Au prix publié, ces nœuds cessent d'acheter des token de sortie.

JEV - Le lubrifiant sur les nœuds de contrôle

Co-auteur : folkbench.com (Folkbench est une plateforme vérifiable d’évaluation et de sélection pour les API d’IA, les services de modèles et les sites associés. Elle s’appuie sur les informations publiées sur le service, les prix, la disponibilité, la latence et les fenêtres de preuve pour aider les utilisateurs à comparer des voies et à en choisir une.)

Dix textes dans cette série :

Ne pas pouvoir chatter est un avantage dans une chaîne d'Agent. Une demande d'utilisateur passe souvent par l'intention, les emplacements, la récupération, les outils et une relecture. Ces nœuds ne veulent pas un paragraphe. Ils veulent une branche. Si chaque pas embauche un modèle qui écrit, le P99 et la facture montent ensemble. Jev se place sur les nœuds de contrôle comme un lubrifiant : le jugement est une distribution, et la phrase est laissée au seul pas qui doit vraiment générer.

Où est le frottement

Une demande n'est plus une seule lecture de base de données. C'est un graphe orienté : intention, aiguillage, compression du contexte, outils, autocorrection, un résumé. Le goulet passe des E/S à la latence et au prix des appels aux grands modèles. De 10 à 20 appels de fond dans une chaîne de collaboration, c'est l'ordinaire. Accroche un modèle phare aux 6 pas et la queue dépasse facilement 10 secondes.

[user request]
   │
   ▼
1. Intent and route
   │
   ▼
2. Slots and checks
   │
   ▼
3. Retrieval and rerank
   │
   ▼
4. Tool choice (loop)
   │
   ▼
5. The content that must be written
   │
   ▼
6. Review and format
   │
   ▼
[response]

Le délai s'empile

Le premier token d'un modèle de chat est souvent déjà à quelques centaines de millisecondes, et la génération en ajoute. 6 pas en série attendent chaque premier token et chaque génération. Une petite chance de queue à chaque pas suffit à tirer le P99 de toute la chaîne au-delà de 10 secondes. Le SLA casse d'abord là.

Les nœuds de contrôle ne se tarifient pas comme un chat

Sur ces 6 pas, ceux qui doivent raisonner au grand jour et finir une phrase ne sont souvent que 2 ou 3 dixièmes. Le reste, ce sont la classification, les vérifications et les changements d'état. Payer le prix de sortie d'un modèle phare pour un jugement oui ou non traite le flux de contrôle comme de la rédaction.

Séparer le contrôle du raisonnement

Le lubrifiant ne remplace pas le raisonnement profond. Il remplace le contrôle à haute fréquence.

  1. Le plan de contrôle utilise Jev. Aiguillage, vérifications, classification, jugement léger. Ce qu'il lui faut, c'est une sortie fermée et une concurrence qui peut s'étaler.
  2. Le plan de raisonnement utilise un modèle qui sait parler. Texte long, plans à plusieurs pas, le tronçon qu'il faut expliquer à une personne. La dépense et la lenteur peuvent rester là, parce que ce pas allait générer de toute façon.
user request
   │
   ▼
[Jev] intent and route
   │
   ├──────────────┐
   ▼              ▼
[Jev] slot check [Jev] intercept
   │              │
   └──────┬───────┘
          ▼
[flagship] only this step generates
          │
          ▼
[Jev] review: out of bounds, or which rung
          │
          ▼
       response

Trois conséquences d'ingénierie suivent :

  • Les nœuds de contrôle ne grandissent plus token par token. Leur latence reste dans la bande publiée, environ 70 à 500 millisecondes de bout en bout, plutôt qu'une génération complète.
  • La concurrence n'est plus coincée derrière « finis d'abord le paragraphe ».
  • Le nœud de relecture reçoit une distribution, pas une chaîne JSON qui pourrait casser. Une source de tempêtes de nouvel essai rapetisse.

Une addition

Les prix ci-dessous sont une hypothèse, pour montrer la forme. Ils ne sont pas la liste de prix de ce site, et ils ne sont pas une facture. Le modèle de chat phare est estimé à $2.50 par million de token d'entrée et $10 par million de token de sortie. Jev utilise les chiffres publiés : $0.042 par million de token d'entrée, sortie non facturée. Le volume est de 1 million de demandes par jour.

L'hypothèse

5 pas par demande :

  • Intention : 300 en entrée, 50 en sortie
  • État et taille : 1000 en entrée, 100 en sortie
  • Arguments d'outil : 800 en entrée, 150 en sortie
  • Génération centrale : 1500 en entrée, 800 en sortie
  • Relecture : 1000 en entrée, 200 en sortie

Deux câblages

  • Plan A : les 5 pas sont le modèle phare.
  • Plan B : seule la génération centrale reste sur le modèle phare. Les 4 autres pas passent à Jev. Les pas de contrôle ne paient pas les token de sortie.

Coût

Le plan A déplace 4.6 milliards de token d'entrée et 1.3 milliards de token de sortie par jour. L'entrée est $11,500, la sortie est $13,000, ensemble $24,500. 30 jours font environ $735,000.

Le plan B envoie 3.1 milliards de token d'entrée à travers les 4 pas de Jev. À $0.042 par million de token, cela fait environ $130, et le coût de sortie est 0. La génération centrale reste $3,750 d'entrée plus $8,000 de sortie, $11,750. Ensemble, cela fait environ $11,880 par jour, et environ $356,000 sur 30 jours.

La dépense mensuelle baisse d'environ la moitié. Ce qui baisse, ce sont surtout les token de sortie que les nœuds de contrôle n'achètent plus.

Délai

Mesure Plan A Plan B
Quatre nœuds de contrôle Environ 450 ms de génération chacun, environ 1.8 s Dans la bande publiée de 70–500 ms, quatre appels environ 0.28–2 s
Coût d'API par jour $24,500 Environ $11,880
Les nœuds de contrôle génèrent token par token Oui Non

Au bout rapide, le surcoût de contrôle est clairement sous 4 générations complètes. Au bout lent, 4 appels à 500 ms peuvent approcher une longue génération, donc ne décris pas le lubrifiant comme quelques dizaines de millisecondes garanties. Ce que la séparation achète, c'est que la sortie n'est plus tarifée comme un chat, et que le jugement peut être séparé de la génération.

Trois endroits où le poser

D'abord la route

Avant qu'une demande entre dans le raisonnement central, demande à Jev une classification fermée. Si une réponse toute faite ou un cache peut répondre, le code la renvoie. Seul le barreau qui signifie « ceci doit être développé » réveille le modèle cher. Jev n'écrit pas cette réponse.

def handle_incoming_request(user_payload):
    route = jev_client.choice(
        state=user_payload.text,
        options=["FAST_ACK", "SIMPLE_QUERY", "DEEP_REASONING"],
    )
    if route.top == "FAST_ACK":
        return canned_ack(user_payload)
    if route.top == "DEEP_REASONING" and route.probability >= 0.8:
        return call_heavy_llm_pipeline(user_payload)
    return canned_ack(user_payload)

L'extraction doit être dure

Les arguments d'un outil ne devraient pas être lus dans un paragraphe qui contient des commentaires. Laisse Jev reporter le texte flou sur des champs et des énumérations qui étaient listés d'avance. L'aval reçoit une distribution et une option de tête, pas une analyse JSON qui pourrait échouer.

Amincir le contexte

Des dizaines de milliers de token d'historique, poussés droit sur le modèle principal, sont chers et faciles à perdre au milieu. Une question fermée au milieu laisse tomber les tours sans rapport et garde l'état qui compte. Le modèle principal voit alors une entrée plus courte. La règle de ce qu'il faut laisser doit être une question, pas « résume ceci, s'il te plaît ».

Série