Une articulation n'a pas besoin d'un cerveau

Jev est le modèle System One de TypeSafe. Il n'écrit pas de texte libre. Il renvoie une probabilité pour chaque question fermée, sur les nœuds où les règles s'épuisent et où un modèle de chat serait du gaspillage.

Folkbench folkbench.com

Co-auteur : folkbench.com (Folkbench est une plateforme vérifiable d’évaluation et de sélection pour les API d’IA, les services de modèles et les sites associés. Elle s’appuie sur les informations publiées sur le service, les prix, la disponibilité, la latence et les fenêtres de preuve pour aider les utilisateurs à comparer des voies et à en choisir une.)

Dix textes dans cette série :

Les modèles de fondation ont passé la ligne. La plupart des gens ne peuvent plus poser une tâche qui les dépasse. Les questions auxquelles vous pouvez penser, les modèles actuels peuvent en gros les prendre. Comparer qui discute un peu mieux ne porte pas un produit nouveau. La différence est passée à la définition du produit. Jev est défini pour cette étape.

C'est le modèle System One de TypeSafe AI. Il ne génère pas de texte libre. Vous lui donnez un morceau d'état, du texte ou un état de programme, plus un ensemble de questions fermées. Chaque question revient comme une distribution de probabilités.

Il ne vend pas le chat. Il vend les articulations d'un système.

Les nœuds se rangent par sortes. Certains peuvent s'écrire en règles, et alors c'est fini. Certains doivent se raisonner au grand jour, et se dire jusqu'au bout à une personne. C'est un travail de cerveau. Un lot reste au milieu. Les règles ne peuvent pas l'épuiser. Appeler un cerveau pour lui, c'est du gaspillage. L'articulation se pose sur ce lot.

Il suffit de fléchir

Quand vous marchez, le genou ne demande pas au cerveau. Sol dur, il fléchit un peu. Pente raide, il tient. Pas d'explication, et pas de brouillon.

Une articulation n'a pas besoin d'intelligence. Une articulation a besoin d'instinct. L'instinct est au-dessus des règles. Ce qui peut s'épuiser va aux règles : l'état correspond, on prend cette branche ; il ne correspond pas, on s'arrête. Ce que les règles ne peuvent toujours pas trancher, mais vers quoi une personne exercée penche d'un regard, va à l'instinct. Quand il faut étaler la raison, et parler à quelqu'un, on fait entrer l'intelligence. N'attendez pas qu'une seule question fasse à la fois le travail des règles et celui d'un cerveau.

Jev reste dans cette couche du milieu. La question est fermée, et la forme de la réponse est fermée. La probabilité peut s'étaler. Un étalement, c'est qu'il n'est pas sûr. Il n'assigne de probabilité qu'à l'intérieur des réponses que vous lui avez données. La ligne officielle, sur une question qui convient, est serrée : un jugement qu'une personne du métier peut faire en une seconde en regardant le contexte. Tout ce qui demande une longue analyse n'a pas sa place en une seule question. Découpez.

C'est le même genre de travail qu'un classificateur général d'avant GPT. La compréhension du sens est meilleure, et c'est plus rapide. Il sait lire une phrase qui prend le détour, et il sait lire une intention glissée dans l'état du programme. Ne l'emmenez pas discuter.

Le nom officiel de la place est System One. Il emprunte le Système 1 de Kahneman : rapide, intuitif. La pensée lente qui écrit ses étapes pour qu'une personne les lise n'est pas à cette place.

Le nom vient de William Stanley Jevons. Après que le charbon et les machines à vapeur sont devenus plus efficaces, la demande n'a pas baissé. Elle a monté. L'usage officiel du nom dit ceci : une fois le jugement bon marché, le nombre de nœuds d'un système qui ont besoin d'un jugement grandit avec lui.

Seulement ces trois questions

Il n'y a que trois types de questions.

Le oui-non, appelé Noul. Une phrase que vrai ou faux peut refermer. Ce qui revient, c'est la probabilité de « oui », de 0 à 1. Le code pose un seuil sur ce nombre. Passé la ligne, il s'exécute. En deçà de la ligne, il s'arrête, ou il remet le cas à une personne.

Le choix unique, appelé Choice. Les options sont fixées d'avance, 255 au plus. Chaque option peut être suivie d'une phrase qui dit ce qu'elle veut dire. Ce qui revient, c'est toute la distribution, plus l'option à la plus haute probabilité. Il n'ajoute rien qui ne soit pas sur la liste.

Les niveaux ordonnés, appelés Score. De 2 à 10 niveaux. Rangés du plus bas au plus haut, chaque niveau écrit comme une situation concrète. Ne lui remettez pas seulement un nombre. Le point de chute peut se tenir entre deux niveaux, et la probabilité de chaque niveau est encore là. Si le métier a besoin d'un entier, le code le ramasse.

Les trois peuvent se poser dans la même requête. Le même état, chaque question de son côté. Un oui-non ne rédige pas le brouillon du choix unique. Quelle question utiliser, et laquelle laisser, c'est le code qui le dit. Ajouter des questions n'ajoute presque pas de temps. Ce que vous ajoutez, ce sont les tokens de la question elle-même. L'entrée se facture au token. Le coût en plus, c'est ce petit morceau.

L'échantillonnage n'est pas celui du chat. L'officiel parle d'une architecture nouvelle, l'échantillonnage parallèle. Une passe recueille chaque sortie. Pas token par token. Les modèles de chat sont lents parce qu'un mot attend le suivant, et la sortie devient chère en chemin. Jev ne grandit pas un mot à la fois.

La méthode d'entraînement s'appelle RLCD, Reinforcement Learning for Calibrated Decisions. La cible est la calibration : la confiance qu'il rapporte doit s'aligner sur la fréquence à laquelle il a vraiment raison. « On dirait une personne » n'est pas la cible.

L'entrée est à $0.042 par million de tokens. La sortie est gratuite. De bout en bout, environ 70ms à 500ms. Soixante-dix millisecondes, cela arrive, et cinq cents millisecondes, cela arrive. Le jugement officiel sur l'intelligence est dit à côté : sur les tâches System One, à peu près comme les grands modèles actuels, et un à deux ordres de grandeur plus vite. Ce « à peu près » ne vaut que pour les jugements fermés. S'en servir pour écrire un article, ou pour parler une question non refermée jusqu'au bout, n'entre pas dans cette affirmation.

Là où les règles s'arrêtent

Les nœuds de cette forme ne sont pas rares. La classification, le routage, la notation, la revue, le contrôle du risque, plus les nœuds de jugement dans un Agent, tous l'ont. Dans quelle file un ticket entre, quel tronçon de code le saut suivant prend, à quel point une plainte est vive, si une phrase a le droit de passer, si une opération ressemble à l'exception qu'il faut arrêter, si un outil à une bifurcation est remis. Tout cela se demande vite, et tout cela peut se refermer.

Les règles peuvent manger le tronçon facile à écrire. Une fois les exceptions empilées, les conditions s'emmêlent. On en change une, et celles d'à côté peuvent lâcher avec elle, alors plus tard personne n'ose y toucher.

Certains jettent tout l'état à un modèle qui sait discuter, et lui demandent une phrase de conseil. Un modèle de chat peut le faire. Le nœud n'a besoin que d'une inclinaison. Il vous reste à découper la phrase en une branche, et à réessayer quand cela échoue. Le temps se passe sur la forme du texte.

Un cerveau est permis. Ce nœud n'en mérite pas un en premier. Jev prend ce tronçon. Une question fermée entre, une distribution sort. Si elle passe la ligne, et si elle escalade, cela s'écrit dans le code à côté. Comment le flux avance, cela reste l'affaire du code.

Un remboursement se découpe en trois questions : est-ce qu'on demande un remboursement, est-ce que la demande est un remboursement, un changement de billet, ou seulement une question sur les règles, et sur quel niveau la colère se pose. Noul, Choice et Score, qui regardent le même état. Les phrases écrites dans la politique restent aux règles. Ce que les règles ne font pas correspondre se lit dans la distribution. La réponse au client, ce n'est pas à lui de l'écrire.

Un Agent se découpe de la même façon. La phrase qu'une personne finit par lire est laissée à un modèle qui sait parler. Les jugements du milieu ne devraient pas réveiller un cerveau à chaque pas. Réveillez-le une fois, et ce pas court au coût d'un chat. Remplacez le jugement par une articulation, et la réponse qui part peut rester telle quelle.

Écrire demande un autre modèle

Il ne peut pas écrire un article. Il ne génère pas de texte. Mettez le sujet et le ton dans l'état, il ne répond encore qu'aux questions fermées que vous avez écrites. Si quelque chose est hors sujet, cela, il peut le juger. Les phrases doivent venir d'un autre modèle.

N'enfoncez pas une question ouverte dans un choix unique. « Que faut-il faire ensuite » n'a pas de case dans Choice tant que vous n'avez pas fini de lister les voies. Découpez d'abord. Ce qui peut s'épuiser reste aux règles. Ce que l'instinct peut répondre, écrivez-le sous ces trois questions. Ce qui demande un raisonnement étalé, et une personne à qui l'on parle jusqu'à ce que les mots soient finis, c'est alors que l'intelligence entre. Si cela ne se découpe pas, ce n'est pas encore une articulation.

Certains entendent System One comme un déclassement. Les règles sont plus basses. System One est l'instinct au-dessus des règles. Il est rapide, et il n'écrit pas d'explication. Il doit quand même comprendre le sens, sinon les règles auraient suffi. Au-dessus, c'est l'intelligence. L'officiel donne, pour l'intelligence, « à peu près pareil » sur les tâches fermées, et pour la vitesse, un à deux ordres de grandeur plus vite. Avec cette vitesse, un appel peut tenir dans une boucle, au lieu d'attendre qu'un chat se termine.

Une fois que les modèles de fondation ont aplati les tâches que la plupart des gens peuvent poser, un produit doit se refermer sur une interface nette. Jev se referme en une articulation. Le chat n'est pas à vendre. Les nœuds où les règles ne peuvent pas être finies, et où appeler un cerveau serait du gaspillage, sont sa place.

Sources

Série