JEV - De BERT a una sola distribución
«No puede alucinar» cubre solo la pregunta cerrada: la respuesta no puede salir del conjunto fijado, y dentro de ese conjunto aún puede equivocarse. Jev conserva la semántica de esta generación y devuelve una pasada hacia delante y una distribución.
Coautor: folkbench.com (Folkbench es una plataforma revisable de evaluación y selección de API de IA, servicios de modelos y sitios relacionados. Se apoya en información de servicio publicada, precios, disponibilidad, latencia y ventanas de evidencia para ayudar a los usuarios a comparar y a elegir un camino.)
Diez textos en esta serie:
- JEV - Una articulación no necesita cerebro
- JEV - El lubricante en los nodos de control
- JEV - De BERT a una sola distribución
- JEV - Diseñar la pregunta cerrada, no el hechizo
- JEV - El libro anti-token no lo lanza primero
- JEV - Dos demos que solo devuelven una distribución
- JEV - Salir del bucle: la confianza entra en el código
- JEV - Pasada la línea, ser más listo ya no es el producto
- JEV - Intuición y razón: preguntas que no le pertenecen
- JEV - Del uso de la pantalla a una probabilidad sola
«No puede alucinar» no es un eslogan. Cubre una sola capa: la respuesta tiene que caer dentro del conjunto que usted fijó de antemano. Una etiqueta fuera de ese conjunto no se puede inventar. Dentro del conjunto, la probabilidad todavía puede estar equivocada. Este ensayo devuelve ese límite a la historia de la clasificación. Jev se parece al clasificador general de los años anteriores a GPT, con la semántica de esta generación y con una salida que ha vuelto a una pasada hacia delante y una distribución.
Lo que costaron los años del clasificador
De 2018 a 2021, mucho del trabajo en NLP era clasificación: intención, encaminamiento, sentimiento, etiquetas de dominio. BERT, RoBERTa y XLNet eran las herramientas. Los codificadores bidireccionales dejaron atrás a LSTM y a SVM, y trajeron tres deudas de ingeniería.
- Las etiquetas tenían hambre. Después del preentrenamiento, una tarea como la intención financiera seguía pidiendo miles de ejemplos limpios. Una etiqueta fina más significaba otra pasada de limpieza, anotación colectiva y aumento.
- Las formulaciones no vistas se caían. Aquellos clasificadores ajustaban una frontera de decisión. No sabían qué significaba la etiqueta.
- Un juego de pesos por tarea. Decenas de necesidades de clasificación significaban decenas de instancias, y las versiones, la memoria y las publicaciones se amontonaban juntas.
Lo que faltaba era algo que entendiera la oración y pudiera devolver una probabilidad para una definición que usted acaba de escribir, sin entrenar una cabeza nueva para cada etiqueta.
El exceso de los modelos generativos
La línea de GPT hizo que la clasificación pareciera resuelta. Una frase, «juzgue el sentimiento y devuelva JSON», y un modelo sin ejemplos a menudo nombra una clase. La producción mostró la otra cara.
- El formato sigue siendo una cadena de probabilidades. Para obtener una etiqueta, usted pide JSON o XML legal. Un modelo generativo fuerte todavía tiene una probabilidad pequeña de escribir una frase de más, y el analizador se rompe.
- El coste está atado a la longitud. Una etiqueta de unos pocos caracteres queda detrás de una instrucción larga y de una descodificación token a token. En controles de riesgo en vivo y en el encaminamiento en línea, eso es usar un cañón de asedio contra un mosquito.
Ganamos una comprensión semántica fuerte y luego le acoplamos un tubo de salida lento y frágil, solo para obtener una clase. Si «no puede alucinar» se refiere a ese tubo, los modelos generativos no lo quitaron. Se volvieron mejores en escribir la alucinación de modo que suene a una oración.
Una pasada hacia delante, una distribución
Jev se queda entre los dos: quiere la semántica de esta generación y el comportamiento con pocos ejemplos, no quiere generación de texto, y vuelve a la forma de salida de un clasificador.
De ajustar rasgos a alinear el significado
Los clasificadores viejos cortaban una variedad en el espacio vectorial. Si cambia la etiqueta, hay que ajustarlos otra vez. Jev lee el estado que hay que clasificar junto con la definición en lenguaje natural de cada etiqueta. Usted escribe qué significa un peldaño, y pone probabilidad en ese peldaño, sin una actualización de gradiente para la etiqueta nueva. La comprensión pertenece a la era generativa. La salida, no.
Ya no genera token a token
La generación es lenta porque cada token es otra pasada hacia delante. Jev no escribe los caracteres de {"category": "A"}. En una pasada hacia delante reparte la probabilidad entre los candidatos. La deriva de formato desaparece como clase de fallo: no hay cadena, así que no hay cadena que romper.
Esa es la capa que «no puede alucinar» nombra de verdad. No puede inventar una opción fuera de la lista, y no puede añadir una explicación después de la respuesta. Todavía puede asignar la probabilidad equivocada dentro de la lista. La calibración pregunta si la confianza que declara se mueve con la frecuencia con que acierta. No promete que la clase sea siempre la correcta.
Lo que la operación ya no mantiene
| Dimensión | Años de BERT | Modelos generativos | Jev |
|---|---|---|---|
| Datos | Ajuste fino sobre un conjunto grande etiquetado | Pocos ejemplos, por la instrucción | Pocos ejemplos, por una definición en lenguaje natural de la etiqueta |
| Salida | Una cabeza de clasificación, formato fijo | Genera, y el formato puede romperse | Una distribución, sin formato que romper |
| Velocidad | Codificador, milisegundos | Crece con la longitud generada | De extremo a extremo publicado, unos 70–500 ms, y no crece con una oración de respuesta |
| Semántica | Se deja arrastrar con facilidad por las palabras de superficie | Profunda | Profunda, pero solo sobre las etiquetas que usted dio |
| Operación | Un juego de pesos por tarea | Instrucciones y analizadores | Un modelo; las definiciones de las etiquetas cambian con la petición |
La tarea vieja no quedó obsoleta
Volver a la clasificación de texto se siente familiar. La herramienta de debajo ya no es la roma.
- Usted no entrena otra ronda porque 500 etiquetas estaban mal.
- Usted no envuelve un JSON mal formado en try-catch.
- Usted pasa el estado, escribe qué significa cada opción y se lleva una distribución.
De BERT a los modelos generativos y a esta salida estructurada, la tarea clásica no se fue. Lo que se fue es «para obtener una etiqueta, primero escriba un párrafo». «No puede alucinar» se detiene en esta capa. Por encima, una clase equivocada, una pregunta que no se partió y una pregunta abierta que nunca debió hacerse siguen ahí. El eslogan no las cubre.