JEV - O livro anti-token não o lança primeiro

Coautor: folkbench.com (Folkbench é uma plataforma de avaliação e seleção que se pode rever, para APIs de IA, serviços de modelos e sites relacionados. Apoia-se em informação publicada sobre o serviço, preços, disponibilidade, latência e janelas de evidência para ajudar os utilizadores a comparar e a escolher um caminho.)

Dez textos nesta série:

• JEV - Uma articulação não precisa de um cérebro
• JEV - O lubrificante nos nós de controlo
• JEV - De BERT de volta a uma distribuição
• JEV - Desenhar a pergunta fechada, não o feitiço
• JEV - O livro anti-token não o lança primeiro
• JEV - Duas demos que só devolvem uma distribuição
• JEV - Sair do ciclo: a confiança entra no código
• JEV - Depois da linha, mais inteligente já não é o produto
• JEV - Intuição e razão: perguntas que não lhe pertencem
• JEV - Do ecrã a uma probabilidade nua

Do lado da engenharia, um laboratório incumbente consegue construir Jev. Não há um operador novo, nem um ficheiro de pesos que mais ninguém consiga obter. É um produto que junta o estado do negócio e juízos fechados. Meia equipa e umas semanas bastam para uma versão que corre. Tecnicamente, isso é válido.

Do lado da organização e do livro-razão, não o constroem primeiro. Este é o dilema que Christensen escreveu: conseguir construir uma coisa, e estar disposto a gastar o próprio lucro para o fazer, não são o mesmo facto.

A engenharia não é a parte difícil

Quem construiu RAG ou uma máquina de estados com vários Agent vê que Jev não ganha por esmagar a cena. Reduz a «saída de raciocínio» a uma distribuição.

O caminho generativo é: o utilizador declara uma necessidade, o modelo escreve um trecho longo de texto ou de código, e uma pessoa ou o Agent seguinte interpreta-o.

O caminho de Jev é: o sistema extrai primeiro o estado, o modelo só atribui probabilidade em perguntas fechadas, os ramos duros voltam ao código, e então regressa um resultado.

Um laboratório pode destacar algumas pessoas e correr uma experiência interna. Isso não entra na tabela de preços central, porque a tabela aponta para o outro lado.

O livro de token está escrito ao contrário

O negócio generativo de um incumbente, vendido como API ou por lugares, engrena numa só hipótese: quanto mais se gera, maior é a receita. As perguntas internas crescem para condizer. Como alongamos o relatório. Como acrescentamos mais uma volta da cadeia de pensamento. Como esticamos o contexto até um milhão de token, e depois até dois milhões.

Jev corre ao contrário. Uma comparação entre sistemas, se toda a história for entregue a um modelo de conversa, pode ser dezenas de milhares de token de entrada e milhares de token de saída, e uma só chamada pode custar cêntimos. Se primeiro se espreme o estado e só se fazem perguntas fechadas, a entrada pode cair para umas centenas de token, e a saída não se factura. O preço publicado de entrada é $0.042 por milhão de token. A diferença não é de uns poucos por cento.

Para uma divisão de nuvem, a frase na revisão é: o mesmo trabalho continua a ser feito, e o cliente queima aqui muito menos token. Isso come a receita da própria divisão. Os recursos fluem para projetos que consomem mais token. Algo que seca a saída parece, no quadro vigente, uma orla de margem baixa.

O que rompe o mercado começa muitas vezes assim: um preço unitário baixo, ao serviço de nós de borda, e a demonstração de resultados existente não o respeita. Jev cresce a partir dessa cova. Os incumbentes não estão cegos. O livro-razão não os deixa mover-se primeiro.

As pessoas e o ponto de vista não se encontram

Há uma barreira mais silenciosa. O trabalho num incumbente está muitas vezes partido.

1. O lado do modelo olha para a perda, as tabelas, o comprimento do contexto e o débito. Responde a todo o problema com «o modelo ficou mais forte».
2. O lado do negócio olha para código determinístico, transações e microsserviços. O modelo é uma caixa negra: ou não se usa, ou é engolido inteiro.

A articulação precisa de um terceiro tipo de pessoa. Escreveram sistemas de negócio lamacentos, e sabem que o modelo é bom na indução probabilística e mau quando se usa como expressão regular ou como calculadora. Sabem onde cortar:

• Não faça o modelo gerar o programa inteiro. Faça-o classificar uma vez no ramo.
• Não faça o modelo guardar todo o contexto. Reduza primeiro o contexto a enumerações.
• O esqueleto continua a ser código. O modelo só encaminha na articulação.

Numa organização cortada com esta limpeza, o trabalho não é de ninguém. Os algoritmos chamam-lhe demasiado de negócio. O negócio chama-lhe incerto. Numa equipa pequena os dois pontos de vista ainda cabem na mesma pessoa, e o produto consegue ser reunido.

A rutura começa por baixo

Os computadores centrais olharam para o computador pessoal e viram um brinquedo de lucro fino. As operadoras olharam para a mensagem instantânea e viram que ela comia o SMS. A celebração de hoje é vender computação, vender token e comparar contagens de parâmetros.

O que Jev aponta é outra frase: o uso em grande escala pode não acontecer onde os token ficam mais caros. Pode acontecer onde os token são espremidos até secar e o juízo volta a ser infraestrutura.

Os incumbentes conseguem construí-lo. Na maior parte vão esperar até que o lucro velho tenha sido comido uma vez, e então são puxados para a mesma luta. As pessoas que o constroem primeiro são as que aceitam escrever a tabela de preços ao contrário.

Série

• Anterior: JEV - Desenhar a pergunta fechada, não o feitiço
• Seguinte: JEV - Duas demos que só devolvem uma distribuição