JEV - Le grand livre anti-token ne le sort pas d'abord

Co-auteur : folkbench.com (Folkbench est une plateforme vérifiable d’évaluation et de sélection pour les API d’IA, les services de modèles et les sites associés. Elle s’appuie sur les informations publiées sur le service, les prix, la disponibilité, la latence et les fenêtres de preuve pour aider les utilisateurs à comparer des voies et à en choisir une.)

Dix textes dans cette série :

• JEV - Une articulation n'a pas besoin d'un cerveau
• JEV - Le lubrifiant sur les nœuds de contrôle
• JEV - De BERT à une seule distribution
• JEV - Concevoir la question fermée, pas la formule
• JEV - Le grand livre anti-token ne le sort pas d'abord
• JEV - Deux démos qui ne rendent qu'une distribution
• JEV - Sortir de la boucle : la confiance entre dans le code
• JEV - Passée la ligne, plus intelligent n'est plus le produit
• JEV - Intuition et raison : des questions qui ne lui reviennent pas
• JEV - De l'écran à une probabilité nue

Du côté de l'ingénierie, un labo en place peut construire Jev. Il n'y a pas d'opérateur nouveau, ni de fichier de poids que personne d'autre ne puisse obtenir. C'est un produit qui rassemble l'état du métier et des jugements fermés. Une demi-équipe et quelques semaines suffisent pour une version qui tourne. Techniquement, cela tient.

Du côté de l'organisation et du grand livre, ils ne le construisent pas en premier. C'est le dilemme que Christensen a écrit : pouvoir construire quelque chose, et accepter de dépenser son propre profit pour le faire, ne sont pas le même fait.

L'ingénierie n'est pas la partie difficile

Qui a construit RAG ou une machine à états à plusieurs Agent voit que Jev ne gagne pas en écrasant la scène. Il réduit la « sortie de raisonnement » à une distribution.

La voie générative est : l'utilisateur énonce un besoin, le modèle écrit une longue étendue de texte ou de code, et une personne ou l'Agent suivant l'analyse.

La voie de Jev est : le système extrait d'abord l'état, le modèle n'assigne de probabilité que sur des questions fermées, les branches dures reviennent au code, puis un résultat revient.

Un labo peut détacher quelques personnes et mener une expérience interne. Cela n'entre pas dans la grille de prix centrale, parce que la grille pointe dans l'autre sens.

Le grand livre des token est écrit à l'envers

L'activité générative d'un acteur en place, qu'elle se vende comme API ou par sièges, s'engrène sur une seule hypothèse : plus on génère, plus le revenu est grand. Les questions internes grandissent pour suivre. Comment allonger le rapport. Comment ajouter un tour de chaîne de pensée. Comment étirer le contexte jusqu'à un million de token, puis deux millions.

Jev court dans l'autre sens. Une comparaison entre systèmes, si toute l'histoire est remise à un modèle de discussion, peut faire des dizaines de milliers de token d'entrée et des milliers de token de sortie, et un seul appel peut coûter des centimes. Si l'on presse d'abord l'état et que l'on ne pose que des questions fermées, l'entrée peut tomber à quelques centaines de token, et la sortie n'est pas facturée. Le prix d'entrée publié est de $0.042 par million de token. L'écart n'est pas de quelques pour cent.

Pour une division du nuage, la phrase dans la revue est : le même travail se fait encore, et le client brûle ici beaucoup moins de token. Cela mange le revenu de la division elle-même. Les ressources coulent vers les projets qui consomment plus de token. Quelque chose qui assèche la sortie ressemble, sous le tableau actuel, à un bord à faible marge.

Ce qui rompt le marché commence souvent ainsi : un prix unitaire bas, au service de nœuds de bord, et le compte de résultat existant ne le respecte pas. Jev grandit depuis ce creux. Les acteurs en place ne sont pas aveugles. Le grand livre ne les laisse pas bouger en premier.

Les personnes et le point de vue ne se rencontrent pas

Il y a une barrière plus silencieuse. Le travail chez un acteur en place est souvent coupé en deux.

1. Le côté du modèle regarde la perte, les classements, la longueur du contexte et le débit. Il répond à chaque problème par « le modèle est devenu plus fort ».
2. Le côté du métier regarde le code déterministe, les transactions et les micro-services. Le modèle est une boîte noire : inutilisé, ou avalé entier.

L'articulation a besoin d'un troisième genre de personne. Ces personnes ont écrit des systèmes métier boueux, et elles savent que le modèle est bon en induction probabiliste et mauvais quand on s'en sert comme expression régulière ou comme calculatrice. Elles savent où couper :

• Ne laissez pas le modèle générer le programme entier. Faites-lui classer une fois à la branche.
• Ne laissez pas le modèle tenir tout le contexte. Réduisez d'abord le contexte à des énumérations.
• Le squelette reste du code. Le modèle ne fait qu'aiguiller à l'articulation.

Dans une organisation coupée aussi nettement, le travail n'est le poste de personne. Les algorithmes disent que cela relève trop du métier. Le métier dit que c'est incertain. Dans une petite équipe les deux points de vue tiennent encore dans la même personne, et le produit peut être rassemblé.

La rupture commence en bas

Les ordinateurs centraux ont regardé l'ordinateur personnel et y ont vu un jouet au profit mince. Les opérateurs ont regardé la messagerie instantanée et y ont vu qu'elle mangeait le SMS. La fête d'aujourd'hui, c'est vendre du calcul, vendre des token et comparer les nombres de paramètres.

Ce que Jev indique est une autre phrase : l'usage à grande échelle peut ne pas arriver là où les token deviennent plus chers. Il peut arriver là où les token sont pressés à sec et où le jugement redevient de l'infrastructure.

Les acteurs en place peuvent le construire. Ils attendront pour la plupart que l'ancien profit ait été mangé une fois, puis ils seront tirés dans le même combat. Les gens qui le construisent d'abord sont ceux qui acceptent d'écrire la grille de prix à l'envers.

Série

• Précédent : JEV - Concevoir la question fermée, pas la formule
• Suivant : JEV - Deux démos qui ne rendent qu'une distribution