JEV - Una articulación no necesita cerebro

Jev no escribe texto libre. Entra una pregunta cerrada y sale una distribución, en las articulaciones donde las reglas se agotan y un modelo de chat sería un desperdicio. Las capas son reglas, reflejo e inteligencia.

JEV - Una articulación no necesita cerebro

Coautor: folkbench.com (Folkbench es una plataforma revisable de evaluación y selección de API de IA, servicios de modelos y sitios relacionados. Se apoya en información de servicio publicada, precios, disponibilidad, latencia y ventanas de evidencia para ayudar a los usuarios a comparar y a elegir un camino.)

Diez textos en esta serie:

Gastar el cómputo de una biblioteca nacional para decidir si un perro debe salivar al oír una campana es la forma de muchos nodos ahora. El trabajo es un corte en dos: esta frase toma el analizador de facturas en chino, o el de recibos en inglés. Cuélgale un modelo al que le gusta razonar en público, y el modelo escribe unos cientos de token de debate, luego una sola etiqueta. El tiempo se va en el texto. El dinero también.

La biología ya respondió. Si cada paso esperara a que la corteza hiciera el cálculo, nada cruzaría la pradera. La rodilla encuentra el suelo y se dobla.

Una articulación no necesita un cerebro. Una articulación necesita un reflejo.

Jev está cortado para ese lugar. No genera texto libre. Entra una pregunta cerrada. Sale una distribución.

El juicio arrastrado por el texto

Los modelos grandes actuales son lentos y caros en producción porque se les exige pensar y hablar en el mismo bucle de lenguaje natural. Querías un sí, una distribución o un nivel. El camino que obtienes es token de entrada, un cálculo oculto, luego decodificar un token cada vez, y después una expresión regular que pesca la respuesta dentro de una frase.

Cada espacio y cada coma están en la factura. La decodificación autorregresiva no se paraleliza con limpieza. Para que el modelo «emita JSON y ninguna explicación», la instrucción crece otro bloque de restricciones. Es como escribir «ahora doy el paso con el pie izquierdo» antes de cada zancada.

La mayoría de los bucles pequeños de un sistema en producción no necesitan ese párrafo. La prosa es para las personas. Las máquinas quieren una probabilidad.

Un reflejo que no habla

Jev no tiene boca por diseño. Entra un trozo de estado. No arranca un bucle de token. Asigna probabilidad sobre las respuestas cerradas que ya listaste. Los tres tipos de pregunta son los mismos que usan los textos posteriores. No les cambies el nombre:

  • Sí o no, Noul. Lo que vuelve es la probabilidad de «sí», de 0 a 1. No es un valor vacío, y no es una señal de rechazo.
  • Elección única, Choice. Las opciones quedan fijadas de antemano, 255 como máximo. No inventa una opción que no esté en la lista.
  • Nivel ordenado, Score. De 2 a 10 peldaños, cada peldaño escrito como un caso concreto.

Esto es un reflejo rotuliano. El martillo golpea el ligamento. La señal no tiene que llegar a la corteza antes de que la pierna inferior se mueva. No hace falta una explicación. Hace falta un resultado cerrado, y una velocidad que pueda quedar dentro de un bucle.

El tramo publicado de extremo a extremo es de unos 70 a 500 milisegundos. La entrada es $0.042 por millón de token. La salida no se factura. El extremo rápido y el extremo lento viven ambos en ese tramo. No lo describas como unos pocos milisegundos, y no lo describas como un turno de chat. En los juicios cerrados de System One, la capacidad está en la misma banda que los modelos grandes actuales, y la velocidad es 1 o 2 órdenes de magnitud más alta. «La misma banda» solo vale para los juicios cerrados.

Un modelo que puede chatear se sienta en el cuartel general y explica por qué existe la campaña. Jev se sienta en las yemas de los dedos y en las rodillas. Cuando algo vuela hacia la cabeza, la cabeza se mueve primero.

Tres capas, no dos

El corte habitual era de dos capas: lo que se podía escribir como if se quedaba en el código, y todo lo borroso se arrojaba a un modelo de chat. Los nodos borrosos cargaban así el coste y la espera. El corte que coincide con este producto tiene tres capas:

       ┌────────────────────────────────────────┐
       │             3. Intelligence             │
       │  open reasoning, prose, talking to a    │
       │  person                                  │
       └───────────────────▲────────────────────┘
                           │ this question will not split; go up
       ┌───────────────────┴────────────────────┐
       │             2. Reflex (Jev)             │
       │  closed questions, fixed options,        │
       │  a distribution or a score               │
       └───────────────────▲────────────────────┘
                           │ the rule missed; hand it to reflex
       ┌───────────────────┴────────────────────┐
       │             1. Rules                    │
       │  branches whose edges are already        │
       │  written                                 │
       └────────────────────────────────────────┘

La capa de reglas

Hueso. Expresiones regulares, árboles de sintaxis, algoritmos cuyos bordes ya están escritos. Instrucciones de CPU. Una coincidencia es una coincidencia.

La capa de reflejo

Músculo y articulación. Un pequeño cambio de tono, a qué cola pertenece una intención, si una frase puede pasar, si el contexto sigue tratando de lo mismo. Las reglas no pueden terminar la lista, pero una persona entrenada se inclina hacia un lado de un vistazo. Estos nodos ya no despiertan un cerebro primero. Jev no escribe explicación. Devuelve una probabilidad, o una distribución entera. Lo bastante ligero para vivir en el bucle.

La capa de inteligencia

Corteza. Los datos suben aquí solo cuando una pregunta cerrada sigue dispersa y una persona todavía tiene que oír la razón. Las cadenas de pensamiento, las respuestas largas y los planes de varios pasos se quedan aquí. La carta al cliente no es trabajo de la articulación.

Tres capas no retiran el modelo grande del sistema. Dejan de usarlo para girar cada tornillo.

Una buena herramienta desaparece

Cuando un martillo encaja en la mano, la atención se queda en el clavo. El martillo es una extensión del brazo. Cuando es pesado, está caliente, o canta un verso después de cada golpe, deja de ser una herramienta y se convierte en el obstáculo.

Los modelos de chat de los últimos años han sido demasiado visibles. Personalidad fuerte, demasiadas palabras, un ritmo lento. Metidos en un tren de engranajes, cada engrane llega con una fricción pegajosa.

Jev es el otro polo: más estrecho, más rápido, más barato, y no pide que lo lean. Un polo sigue siendo un modelo muy grande, que hace el pensamiento caro en un centro de datos. El otro polo se dispersa junto a protocolos, colas y sensores, como lo hacen las articulaciones. No se explican. Terminan la contracción y la relajación.

Lo que ha sostenido el sistema son las articulaciones que no tienen que pensar.

Serie