Uma articulação não precisa de um cérebro

O Jev não escreve texto livre. Entra uma pergunta fechada e sai uma distribuição, nas articulações em que as regras se esgotam e um modelo de chat seria desperdício. As camadas são regras, reflexo e inteligência.

Uma articulação não precisa de um cérebro

Coautor: folkbench.com (Folkbench é uma plataforma de avaliação e seleção que se pode rever, para APIs de IA, serviços de modelos e sites relacionados. Apoia-se em informação publicada sobre o serviço, preços, disponibilidade, latência e janelas de evidência para ajudar os utilizadores a comparar e a escolher um caminho.)

Dez textos nesta série:

Gastar a computação de uma biblioteca nacional para decidir se um cão deve salivar ao som de um sino é a forma de muitos nós agora. O trabalho é um corte em dois: esta frase segue o analisador de faturas em chinês, ou o de recibos em inglês. Pendura-lhe um modelo que gosta de raciocinar em público, e ele escreve algumas centenas de token de debate e depois um único rótulo. O tempo vai para o texto. O dinheiro também.

A biologia já respondeu. Se cada passo esperasse que o córtex fizesse o cálculo, nada atravessaria a pradaria. O joelho encontra o chão e dobra.

Uma articulação não precisa de um cérebro. Uma articulação precisa de um reflexo.

O Jev está cortado para esse lugar. Não gera texto livre. Entra uma pergunta fechada. Sai uma distribuição.

O juízo arrastado pelo texto

Os modelos grandes atuais são lentos e caros em produção porque se lhes exige pensar e falar no mesmo ciclo de língua natural. Querias um sim, uma distribuição ou um nível. O caminho que recebes é token à entrada, um cálculo oculto, depois a descodificação de um token de cada vez, e uma expressão regular que pesca a resposta de dentro de uma frase.

Cada espaço e cada vírgula entram na conta. A descodificação autorregressiva não se paraleliza com limpeza. Para o modelo «emitir JSON e nenhuma explicação», a instrução cresce mais um bloco de restrições. É como escrever «estou agora a dar o passo com o pé esquerdo» antes de cada passada.

A maior parte dos ciclos pequenos de um sistema em produção não precisa desse parágrafo. A prosa é para pessoas. As máquinas querem uma probabilidade.

Um reflexo que não fala

O Jev não tem boca, por desenho. Entra um pedaço de estado. Não abre um ciclo de token. Distribui a probabilidade pelas respostas fechadas que já estavam listadas. Os três tipos de pergunta são os mesmos que os textos seguintes usam. Não lhes mudes o nome:

  • Sim ou não, Noul. O que volta é a probabilidade de «sim», de 0 a 1. Não é um valor vazio, e não é um sinal de rejeição.
  • Escolha única, Choice. As opções ficam fixas de antemão, 255 no máximo. Não inventa uma opção que não esteja na lista.
  • Nível ordenado, Score. De 2 a 10 degraus, cada degrau escrito como um caso concreto.

Isto é um reflexo patelar. O martelo bate no ligamento. O sinal não tem de chegar ao córtex antes de a perna inferior se mover. Não é precisa uma explicação. É preciso um resultado fechado, e uma velocidade que caiba dentro de um ciclo.

O intervalo publicado de ponta a ponta é de cerca de 70 a 500 milissegundos. A entrada é $0.042 por milhão de token. A saída não é faturada. A ponta rápida e a ponta lenta vivem ambas nesse intervalo. Não o descrevas como uns poucos milissegundos, e não o descrevas como um turno de chat. Nos juízos fechados de System One, a capacidade está na mesma faixa que os modelos grandes atuais, e a velocidade é 1 ou 2 ordens de grandeza mais alta. «A mesma faixa» só vale para juízos fechados.

Um modelo que sabe fazer chat senta-se no quartel-general e explica porque é que a campanha existe. O Jev senta-se nas pontas dos dedos e nos joelhos. Quando alguma coisa voa contra a cabeça, a cabeça desvia-se primeiro.

Três camadas, não duas

O corte habitual tinha duas camadas: o que se podia escrever como if ficava no código, e tudo o que era difuso era atirado a um modelo de chat. Os nós difusos carregavam assim o custo e a espera. O corte que corresponde a este produto tem três camadas:

       ┌────────────────────────────────────────┐
       │             3. Intelligence             │
       │  open reasoning, prose, talking to a    │
       │  person                                  │
       └───────────────────▲────────────────────┘
                           │ this question will not split; go up
       ┌───────────────────┴────────────────────┐
       │             2. Reflex (Jev)             │
       │  closed questions, fixed options,        │
       │  a distribution or a score               │
       └───────────────────▲────────────────────┘
                           │ the rule missed; hand it to reflex
       ┌───────────────────┴────────────────────┐
       │             1. Rules                    │
       │  branches whose edges are already        │
       │  written                                 │
       └────────────────────────────────────────┘

A camada das regras

Osso. Expressões regulares, árvores de sintaxe, algoritmos cujas arestas já estão escritas. Instruções de CPU. Um acerto é um acerto.

A camada do reflexo

Músculo e articulação. Um pequeno desvio de tom, em que fila entra uma intenção, se uma frase pode passar, se o contexto ainda trata da mesma coisa. As regras não conseguem fechar a lista, mas uma pessoa treinada inclina-se para um lado num relance. Estes nós já não acordam primeiro um cérebro. O Jev não escreve explicação. Devolve uma probabilidade, ou uma distribuição inteira. Leve o bastante para viver no ciclo.

A camada de inteligência

Córtex. Os dados só sobem aqui quando uma pergunta fechada continua dispersa e uma pessoa ainda tem de ouvir a razão. Cadeias de pensamento, respostas longas e planos de vários passos ficam aqui. A carta ao cliente não é trabalho da articulação.

Três camadas não retiram o modelo grande do sistema. Deixam de o usar para apertar cada parafuso.

Uma boa ferramenta desaparece

Quando um martelo assenta na mão, a atenção fica no prego. O martelo é um prolongamento do braço. Quando é pesado, quente, ou canta uma estrofe depois de cada golpe, deixa de ser ferramenta e passa a ser o obstáculo.

Os modelos de chat dos últimos anos foram demasiado visíveis. Personalidade forte, demasiadas palavras, um ritmo lento. Metidos numa cadeia de engrenagens, cada engrenamento chega com um atrito pegajoso.

O Jev é o outro polo: mais estreito, mais rápido, mais barato, e não pede para ser lido. Um polo continua a ser um modelo muito grande, a fazer o pensamento caro num centro de dados. O outro polo espalha-se ao lado de protocolos, filas e sensores, como fazem as articulações. Não se explicam. Terminam a contração e o relaxamento.

O que tem sustentado o sistema são as articulações que não têm de pensar.

Série