JEV - De BERT de volta a uma distribuição

«Não pode alucinar» cobre só a pergunta fechada: a resposta não pode sair do conjunto fixado, e dentro dele ainda pode estar errada. O Jev guarda a semântica desta geração e devolve uma passagem para a frente e uma distribuição.

JEV - De BERT de volta a uma distribuição

Coautor: folkbench.com (Folkbench é uma plataforma de avaliação e seleção que se pode rever, para APIs de IA, serviços de modelos e sites relacionados. Apoia-se em informação publicada sobre o serviço, preços, disponibilidade, latência e janelas de evidência para ajudar os utilizadores a comparar e a escolher um caminho.)

Dez textos nesta série:

«Não pode alucinar» não é um slogan. Cobre uma só camada: a resposta tem de cair dentro do conjunto que você fixou de antemão. Um rótulo fora desse conjunto não se pode inventar. Dentro do conjunto, a probabilidade ainda pode estar errada. Este texto devolve esse limite à história da classificação. O Jev parece o classificador geral dos anos anteriores ao GPT, com a semântica desta geração e com uma saída que voltou a uma passagem para a frente e uma distribuição.

O que custaram os anos do classificador

De 2018 a 2021, muito do trabalho em NLP era classificação: intenção, encaminhamento, sentimento, rótulos de domínio. BERT, RoBERTa e XLNet eram as ferramentas. Os codificadores bidirecionais deixaram LSTM e SVM para trás, e trouxeram três dívidas de engenharia.

  1. Os rótulos tinham fome. Depois do pré-treino, uma tarefa como a intenção financeira ainda pedia milhares de exemplos limpos. Mais um rótulo fino significava outra passagem de limpeza, anotação coletiva e aumento.
  2. Formulações nunca vistas caíam. Esses classificadores ajustavam uma fronteira de decisão. Não sabiam o que o rótulo significava.
  3. Um conjunto de pesos por tarefa. Dezenas de necessidades de classificação significavam dezenas de instâncias, e versões, memória e publicações acumulavam-se juntas.

O que faltava era algo que entendesse a frase e pudesse devolver uma probabilidade para uma definição que você acabou de escrever, sem treinar uma cabeça nova para cada rótulo.

O excesso dos modelos generativos

A linha do GPT fez a classificação parecer resolvida. Uma frase, «julgue o sentimento e devolva JSON», e um modelo sem exemplos muitas vezes nomeia uma classe. A produção mostrou a outra face.

  • O formato continua a ser uma cadeia de probabilidades. Para obter um rótulo, você pede JSON ou XML legal. Um modelo generativo forte ainda tem uma probabilidade pequena de escrever uma frase a mais, e o analisador parte.
  • O custo está preso ao comprimento. Um rótulo de poucos caracteres fica atrás de uma instrução longa e de uma descodificação token a token. Em verificações de risco ao vivo e no encaminhamento em linha, isso é usar um canhão de cerco contra um mosquito.

Ganhámos uma compreensão semântica forte e depois ligámos-lhe um tubo de saída lento e frágil, só para obter uma classe. Se «não pode alucinar» se refere a esse tubo, os modelos generativos não o retiraram. Ficaram melhores a escrever a alucinação de modo que soe a uma frase.

Uma passagem para a frente, uma distribuição

O Jev fica entre os dois: quer a semântica desta geração e o comportamento com poucos exemplos, não quer geração de texto, e volta à forma de saída de um classificador.

De ajustar traços a alinhar o significado

Os classificadores velhos cortavam uma variedade no espaço vetorial. Muda o rótulo, e têm de ser ajustados outra vez. O Jev lê o estado a classificar junto com a definição em linguagem natural de cada rótulo. Você escreve o que um degrau significa, e ele põe probabilidade nesse degrau, sem uma atualização de gradiente para o rótulo novo. A compreensão pertence à era generativa. A saída, não.

Já não gera token a token

A geração é lenta porque cada token é outra passagem para a frente. O Jev não escreve os caracteres de {"category": "A"}. Numa passagem para a frente reparte a probabilidade pelos candidatos. O desvio de formato desaparece como classe de falha: não há cadeia, logo não há cadeia para partir.

Essa é a camada que «não pode alucinar» nomeia de facto. Não pode inventar uma opção fora da lista, e não pode acrescentar uma explicação depois da resposta. Ainda pode atribuir a probabilidade errada dentro da lista. A calibração pergunta se a confiança que declara se move com a frequência com que acerta. Não promete que a classe esteja sempre certa.

O que a operação já não mantém

Dimensão Anos do BERT Modelos generativos Jev
Dados Ajuste fino sobre um conjunto grande rotulado Poucos exemplos, pela instrução Poucos exemplos, por uma definição em linguagem natural do rótulo
Saída Uma cabeça de classificação, formato fixo Gera, e o formato pode partir Uma distribuição, sem formato para partir
Velocidade Codificador, milissegundos Cresce com o comprimento gerado De ponta a ponta publicado, cerca de 70–500 ms, e não cresce com uma frase de resposta
Semântica Deixa-se arrastar com facilidade pelas palavras de superfície Funda Funda, mas só sobre os rótulos que você deu
Operação Um conjunto de pesos por tarefa Instruções e analisadores Um modelo; as definições dos rótulos mudam com o pedido

A tarefa velha não ficou obsoleta

Voltar à classificação de texto parece familiar. A ferramenta por baixo já não é a romba.

  • Você não treina outra ronda porque 500 rótulos estavam errados.
  • Você não embrulha JSON mal formado em try-catch.
  • Você passa o estado, escreve o que cada opção significa e leva uma distribuição.

Do BERT aos modelos generativos e a esta saída estruturada, a tarefa clássica não saiu. O que saiu é «para obter um rótulo, escreva primeiro um parágrafo». «Não pode alucinar» pára nesta camada. Acima dela, uma classe errada, uma pergunta que não foi partida e uma pergunta aberta que nunca devia ter sido feita continuam lá. O slogan não as cobre.

Série