JEV - El libro anti-token no lo lanza primero
Un laboratorio incumbente puede construir Jev. El libro mayor cobra según lo generado, y la organización separa los modelos del negocio, así que no lo construyen primero. Quien lo construye primero tiene que escribir la lista de precios al revés.
Coautor: folkbench.com (Folkbench es una plataforma revisable de evaluación y selección de API de IA, servicios de modelos y sitios relacionados. Se apoya en información de servicio publicada, precios, disponibilidad, latencia y ventanas de evidencia para ayudar a los usuarios a comparar y a elegir un camino.)
Diez textos en esta serie:
- JEV - Una articulación no necesita cerebro
- JEV - El lubricante en los nodos de control
- JEV - De BERT a una sola distribución
- JEV - Diseñar la pregunta cerrada, no el hechizo
- JEV - El libro anti-token no lo lanza primero
- JEV - Dos demos que solo devuelven una distribución
- JEV - Salir del bucle: la confianza entra en el código
- JEV - Pasada la línea, ser más listo ya no es el producto
- JEV - Intuición y razón: preguntas que no le pertenecen
- JEV - Del uso de la pantalla a una probabilidad sola
Del lado de la ingeniería, un laboratorio incumbente puede construir Jev. No hay un operador nuevo, ni un archivo de pesos que nadie más pueda conseguir. Es un producto que reúne el estado del negocio y los juicios cerrados. Medio equipo y unas semanas bastan para una versión que corre. En lo técnico, eso se sostiene.
Del lado de la organización y del libro mayor, no lo construyen primero. Este es el dilema que Christensen dejó escrito: poder construir algo, y estar dispuesto a gastar el propio beneficio para hacerlo, no son el mismo hecho.
La ingeniería no es la parte difícil
Quien ha construido RAG o una máquina de estados con varios Agent ve que Jev no gana aplastando la escena. Reduce la «salida de razonamiento» a una distribución.
La vía generativa es: el usuario enuncia una necesidad, el modelo escribe un tramo largo de texto o de código, y una persona o el siguiente Agent lo interpreta.
La vía de Jev es: el sistema extrae primero el estado, el modelo solo asigna probabilidad en preguntas cerradas, las ramas duras vuelven al código, y entonces regresa un resultado.
Un laboratorio puede apartar a unas personas y hacer un experimento interno. Eso no entra en la lista de precios central, porque la lista apunta al otro lado.
El libro de token está escrito al revés
El negocio generativo de un incumbente, se venda como API o por puestos, engrana en un solo supuesto: cuanto más se genera, mayor es el ingreso. Las preguntas internas crecen para coincidir. Cómo alargamos el informe. Cómo añadimos otra vuelta de cadena de pensamiento. Cómo estiramos el contexto hasta un millón de token, y luego hasta dos millones.
Jev corre al revés. Una comparación entre sistemas, si toda la historia se entrega a un modelo de charla, puede ser decenas de miles de token de entrada y miles de token de salida, y una sola llamada puede costar centavos. Si primero se exprime el estado y solo se hacen preguntas cerradas, la entrada puede bajar a unos cientos de token, y la salida no se factura. El precio publicado de entrada es $0.042 por millón de token. La brecha no es de unos pocos por ciento.
Para una división de nube, la frase en la revisión es: el mismo trabajo sigue haciéndose, y el cliente quema aquí muchos menos token. Eso se come el ingreso de la propia división. Los recursos fluyen hacia proyectos que consumen más token. Algo que seca la salida parece, bajo el marcador vigente, un borde de margen bajo.
Lo disruptivo suele empezar así: un precio unitario bajo, al servicio de nodos de borde, y la cuenta de resultados existente no lo respeta. Jev crece desde ese hueco. Los incumbentes no están ciegos. El libro mayor no les deja moverse primero.
Las personas y el punto de vista no se encuentran
Hay una barrera más silenciosa. El trabajo en un incumbente suele estar partido.
- El lado del modelo mira la pérdida, las tablas, la longitud del contexto y el caudal. Responde a todo problema con «el modelo se hizo más fuerte».
- El lado del negocio mira el código determinista, las transacciones y los microservicios. El modelo es una caja negra: no se usa, o se traga entero.
La articulación necesita un tercer tipo de persona. Han escrito sistemas de negocio embarrados, y saben que el modelo es bueno en la inducción probabilística y malo si se usa como expresión regular o como calculadora. Saben dónde cortar:
- No haga que el modelo genere el programa entero. Haga que clasifique una vez en la rama.
- No haga que el modelo sostenga todo el contexto. Reduzca primero el contexto a enumeraciones.
- El esqueleto sigue siendo código. El modelo solo enruta en la articulación.
En una organización cortada con tanta limpieza, el trabajo no es de nadie. El lado de algoritmos lo llama demasiado de negocio. El lado de negocio lo llama incierto. En un equipo pequeño los dos puntos de vista aún caben en la misma persona, y el producto se puede reunir.
La disrupción empieza abajo
Los ordenadores centrales miraron el ordenador personal y vieron un juguete de beneficio fino. Las operadoras miraron la mensajería instantánea y vieron que se comía el SMS. La celebración de hoy es vender cómputo, vender token y comparar cantidades de parámetros.
Lo que Jev señala es otra frase: el uso a gran escala puede no ocurrir donde los token se encarecen. Puede ocurrir donde los token se exprimen hasta secarse y el juicio vuelve a ser infraestructura.
Los incumbentes pueden construirlo. En su mayoría esperarán a que el beneficio viejo haya sido comido una vez, y entonces serán arrastrados a la misma pelea. Quienes lo construyen primero son los que aceptan escribir la lista de precios al revés.