Une articulation n'a pas besoin d'un cerveau

Jev n'écrit pas de texte libre. Une question fermée entre, une distribution sort, sur les articulations où les règles s'épuisent et où un modèle de chat serait du gaspillage. Les couches sont les règles, le réflexe et l'intelligence.

Une articulation n'a pas besoin d'un cerveau

Co-auteur : folkbench.com (Folkbench est une plateforme vérifiable d’évaluation et de sélection pour les API d’IA, les services de modèles et les sites associés. Elle s’appuie sur les informations publiées sur le service, les prix, la disponibilité, la latence et les fenêtres de preuve pour aider les utilisateurs à comparer des voies et à en choisir une.)

Dix textes dans cette série :

Dépenser la puissance de calcul d'une bibliothèque nationale pour décider si un chien doit saliver au son d'une cloche, voilà la forme de beaucoup de nœuds maintenant. Le travail est une coupe en deux : cette phrase prend l'analyseur de factures chinoises, ou celui des reçus anglais. Accroche-lui un modèle qui aime raisonner en public, et il écrit quelques centaines de token de débat, puis une seule étiquette. Le temps part dans le texte. L'argent aussi.

La biologie a déjà répondu. Si chaque pas attendait que le cortex fasse le calcul, rien ne traverserait la prairie. Le genou rencontre le sol et plie.

Une articulation n'a pas besoin d'un cerveau. Une articulation a besoin d'un réflexe.

Jev est taillé pour cet endroit. Il ne génère pas de texte libre. Une question fermée entre. Une distribution sort.

Le jugement traîné par le texte

Les grands modèles actuels sont lents et chers en production parce qu'on leur demande de penser et de parler dans la même boucle de langue naturelle. Tu voulais un oui, une distribution ou un niveau. Le chemin que tu obtiens est des token en entrée, un calcul caché, puis le décodage d'un token à la fois, puis une expression régulière qui pêche la réponse dans une phrase.

Chaque espace et chaque virgule sont sur la facture. Le décodage autorégressif ne se parallélise pas proprement. Pour que le modèle « émette du JSON et aucune explication », la consigne grossit d'un autre bloc de contraintes. C'est comme écrire « je pose maintenant le pied gauche » avant chaque foulée.

La plupart des petites boucles d'un système en production n'ont pas besoin de ce paragraphe. La prose est pour les gens. Les machines veulent une probabilité.

Un réflexe qui ne parle pas

Jev n'a pas de bouche, par construction. Un morceau d'état entre. Il n'ouvre pas de boucle de token. Il répartit la probabilité sur les réponses fermées que tu as déjà listées. Les trois types de question sont les mêmes que ceux des textes suivants. Ne les renomme pas :

  • Oui ou non, Noul. Ce qui revient est la probabilité de « oui », de 0 à 1. Ce n'est pas une valeur vide, et ce n'est pas un signal de rejet.
  • Choix unique, Choice. Les options sont fixées d'avance, 255 au plus. Il n'invente pas une option qui n'est pas sur la liste.
  • Niveau ordonné, Score. De 2 à 10 barreaux, chaque barreau écrit comme un cas concret.

C'est un réflexe rotulien. Le marteau frappe le ligament. Le signal n'a pas à atteindre le cortex avant que la jambe inférieure bouge. Aucune explication n'est exigée. Ce qui est exigé, c'est un résultat fermé, et une vitesse qui peut tenir dans une boucle.

La plage publiée de bout en bout est d'environ 70 à 500 millisecondes. L'entrée est à $0.042 par million de token. La sortie n'est pas facturée. Le bout rapide et le bout lent vivent tous les deux dans cette plage. Ne le décris pas comme quelques millisecondes, et ne le décris pas comme un tour de chat. Sur les jugements fermés de System One, la capacité est dans la même bande que les grands modèles actuels, et la vitesse est plus haute de 1 ou 2 ordres de grandeur. « La même bande » ne vaut que pour les jugements fermés.

Un modèle qui sait faire du chat siège à l'état-major et explique pourquoi la campagne existe. Jev siège au bout des doigts et dans les genoux. Quand quelque chose vole vers la tête, la tête s'écarte d'abord.

Trois couches, pas deux

La coupe habituelle comptait deux couches : ce qui pouvait s'écrire comme if restait dans le code, et tout ce qui était flou était jeté à un modèle de chat. Les nœuds flous portaient donc à la fois le coût et l'attente. La coupe qui correspond à ce produit a trois couches :

       ┌────────────────────────────────────────┐
       │             3. Intelligence             │
       │  open reasoning, prose, talking to a    │
       │  person                                  │
       └───────────────────▲────────────────────┘
                           │ this question will not split; go up
       ┌───────────────────┴────────────────────┐
       │             2. Reflex (Jev)             │
       │  closed questions, fixed options,        │
       │  a distribution or a score               │
       └───────────────────▲────────────────────┘
                           │ the rule missed; hand it to reflex
       ┌───────────────────┴────────────────────┐
       │             1. Rules                    │
       │  branches whose edges are already        │
       │  written                                 │
       └────────────────────────────────────────┘

La couche des règles

L'os. Expressions régulières, arbres de syntaxe, algorithmes dont les bords sont déjà écrits. Instructions du CPU. Une correspondance est une correspondance.

La couche du réflexe

Muscle et articulation. Un léger décalage de ton, dans quelle file une intention doit entrer, si une phrase peut passer, si le contexte parle encore de la même chose. Les règles ne peuvent pas finir la liste, mais une personne exercée penche d'un côté d'un seul regard. Ces nœuds ne réveillent plus d'abord un cerveau. Jev n'écrit aucune explication. Il renvoie une probabilité, ou une distribution entière. Assez léger pour vivre dans la boucle.

La couche d'intelligence

Le cortex. Les données ne montent ici que lorsqu'une question fermée reste dispersée et qu'une personne doit encore entendre la raison. Les chaînes de pensée, les longues réponses et les plans à plusieurs pas restent ici. La lettre au client n'est pas le travail de l'articulation.

Trois couches ne retirent pas le grand modèle du système. Elles cessent de s'en servir pour serrer chaque vis.

Un bon outil disparaît

Quand un marteau tient dans la main, l'attention reste sur le clou. Le marteau est un prolongement du bras. Quand il est lourd, chaud, ou qu'il chante un couplet après chaque coup, il cesse d'être un outil et devient l'obstacle.

Les modèles de chat de ces dernières années ont été trop visibles. Forte personnalité, trop de mots, un rythme lent. Posés dans un train d'engrenages, chaque engrènement arrive avec un frottement collant.

Jev est l'autre pôle : plus étroit, plus rapide, moins cher, et il ne demande pas à être lu. Un pôle reste un très grand modèle, qui fait la pensée chère dans un centre de données. L'autre pôle se disperse à côté des protocoles, des files et des capteurs, comme le font les articulations. Ils ne s'expliquent pas. Ils finissent la contraction et le relâchement.

Ce qui a tenu le système, ce sont les articulations qui n'ont pas à penser.

Série