As pessoas recuam do meio do ciclo para a margem

Apanhar uma falha e olhar para todas as perguntas são coisas separadas. Sim-não e escolha única de alta confiança entram direto num ramo. Uma pessoa só trata a fatia que volta, e a confiança tem de funcionar mesmo como limiar.

Folkbench folkbench.com

Coautor: folkbench.com (Folkbench é uma plataforma de avaliação e seleção que se pode rever, para APIs de IA, serviços de modelos e sites relacionados. Apoia-se em informação publicada sobre o serviço, preços, disponibilidade, latência e janelas de evidência para ajudar os utilizadores a comparar e a escolher um caminho.)

Dez textos nesta série:

Nos últimos dois anos, quase todos os sistemas de IA sérios que eu vi assumiram uma pessoa dentro do ciclo, o que as pessoas chamam human in the loop. Não se pode contar com a saída. O sistema acaba uma passagem e não sabe, ele próprio, se a passagem se pode usar diretamente, por isso uma pessoa tem de a apanhar.

Apanhá-la, se se prolonga, transforma-se numa pessoa a olhar para cada juízo. Foi isso que eu encontrei. Chamar uma pessoa só quando algo correu mal é raro. Uma pessoa sentada no ciclo o tempo todo é comum. Quando há poucas perguntas, essa olhadela ainda parece responsabilidade. Quando há muitas, a pessoa só as faz passar, e depois da passagem o trabalho segue na mesma. Esses dois anos eu tomei isto como equipamento de série de um sistema sério. Saída com essa forma, e uma pessoa tem de se sentar no meio. Eu não leio isto como preguiça.

Mais tarde eu separei duas coisas. Apanhá-la é uma pessoa de pé ao lado, à espera do momento que está incerto. Uma pessoa em cada ciclo quer dizer que cada pergunta tem de passar pelas mãos dela. Eu tratava isto como uma coisa só, e depois não conseguia tirar a pessoa da maior parte dos ciclos. Se eu nem sei qual pergunta está incerta, só posso olhar eu próprio para todas.

O que o modelo me entregou foi uma passagem. A passagem pode ser escrita de forma muito completa, e pode parecer muito uma conclusão, mas não consegue entrar no fluxo de controlo. Eu tenho de ler primeiro, ler para que lado quer levar o assunto, e depois eu próprio fixar o ramo. Eu não consigo tirar esse passo. O código quer um valor, e a passagem ainda não é um valor. A pessoa fica no meio do ciclo porque o ramo tem de esperar até eu acabar de ler.

O que eu revia não era a exceção ocasional. Deixar passar ou escalar, eu tinha de acabar primeiro uma razão, uma peça atrás da outra. Depois de ler o suficiente, eu trato um texto completo como pensamento já acabado. A pessoa ainda estava sentada no meio do ciclo, e o juízo tinha seguido a passagem.

Um juízo pequeno o bastante para entrar no código

O Jev vira isso ao contrário. O juízo é premido até ficar pequeno o bastante, e fechado o bastante, para entrar diretamente no fluxo de controlo do código. A pergunta escreve-se fechada antes de ser feita: sim-não, ou escolha única, ou então um Score. O modelo só responde à pergunta que já foi fechada. Não conta o assunto inteiro como uma passagem. A resposta entra num ramo. Uma pessoa já não está no meio.

A pequenez de que eu falo é a pergunta. O próprio negócio não ficou mais pequeno. O negócio fica tão grande quanto deve ser. O que fica mais pequeno é a frase pedida ao modelo. Essa frase tem de poder entrar num ramo no código. O que não consegue entrar num ramo continua a ser uma nota que uma pessoa tem de ler, e a pessoa volta ao meio do ciclo.

Eu agarro-me a isto quando escrevo a pergunta. Se as opções se podem escrever, e os limites não se batem, a pergunta pode ser feita. Se eu só escrevo «use o seu juízo», isso não é uma pergunta fechada. Ou eu ainda a julgo eu próprio, ou torna-se uma passagem mais longa. Eu guardo essas. Eu não pergunto ao modelo.

Mais precisamente, o que ele vira ao contrário não é a pessoa. É «cada juízo precisa que uma pessoa lhe deite uma olhadela». Cada pergunta traz uma confiança. Quando se pode confiar na confiança, o sistema manda a uma pessoa só a fatia menos segura. A pessoa recua do meio do ciclo para a margem. Na parte que está segura, a pessoa já não aparece.

Eu guardo na cabeça quatro imagens rasas: se um alerta está fechado, se uma fatura está paga, se a frase seguinte de apoio ao cliente escala, e se uma corrida de Agent precisa que uma pessoa olhe. São o mesmo género de coisa. O negócio divide-se primeiro em pequenas perguntas fechadas, e o código segue a partir do resultado. A pessoa costumava estar no meio destes ciclos. Depois da divisão, a maior parte dos ramos não tem de chamar uma pessoa.

Eu só trato o que volta

É assim que eu o uso. Sim-não e escolha única de alta confiança vão diretos para um ramo. Eu não abro o conteúdo. Um Score que cai num nível do meio, com uma distribuição plana, é o que me volta. Um que só cai num nível do meio, com uma distribuição que não é plana, eu também não olho. O código continua. Não há uma terceira maneira. Eu não deixo que escreva primeiro uma razão e que eu decida, a partir dela, se olho. Feito assim, uma pessoa ainda faz passar cada pergunta. O que volta é só uma fatia pequena, e eu consigo pegar-lhe. Quando eu fazia passar cada pergunta, eu podia acabar de olhar e mesmo assim não dizer o que tinha julgado.

Quando volta, olhe para a distribuição, não para um texto longo. Um texto longo sequestra uma pessoa. Uma vez a razão estendida, a conclusão normalmente já foi escolhida, e as palavras escrevem para baixo ao longo dessa conclusão. Eu posso ter outro juízo, e mesmo assim tenho de desmontar primeiro a passagem. Eu não consigo apontar a frase em que errou. Eu só estou menos seguro do que ele, e sinto-me constrangido a contrariar, e no fim da desmontagem muitas vezes eu aceno que sim. Uma distribuição não discute comigo. O peso de cada nível está posto à vista. O sítio plano eu vejo numa olhadela. Se eu mudo a decisão, eu mudo-a, sem ter primeiro de vencer uma passagem escrita muito cheia.

Eu ainda estou neste sistema, e estou ausente da maior parte dos ciclos. A vez em que volta é a vez que me pertence. O que eu tenho na mão é uma distribuição que não se separou. Eu próprio escolho um lado. O código segue pelo que eu escolhi. O que já se separou acaba dentro do código, e não me chega a vez de olhar. Eu já não escrevo uma passagem para negociar com o modelo, e não espero que me mande uma explicação.

A confiança tem de funcionar como limiar

Eu atrevo-me a usá-lo assim com uma condição. A confiança tem de funcionar mesmo como limiar. Se o modelo consegue fazer as perguntas mas não consegue dizer em que vez está incerto, uma pessoa continua sem poder sair do meio do ciclo. O relato oficial diz que o que treinam com RLCD é calibração: confiança mais alta é mais exata, e entradas parecidas dão respostas parecidas. Eu confio nessa direção. A primeira frase torna um limiar com sentido. A segunda frase importa-me mais. Se perguntas parecidas são de uma maneira hoje e de outra amanhã, o limiar que eu fixo não se vai manter. É por isso que eu me atrevo a tirar a pessoa do meio do ciclo.

Se a confiança é decoração, a coisa inverte-se. A pessoa não recuou para a margem. A pessoa foi substituída por uma máquina melhor a representar certeza. Dá a cada pergunta um número muito cheio, e o número não tem nada que ver com estar exato. Se eu o uso como condição para deixar passar, eu largo quando não devia. Na maneira como eu o uso agora, não faz isso. Confiança alta, eu dou ao código. O que volta, a distribuição é plana, sem uma frase cortês de incerteza pegada.

Há também vezes em que uma pessoa tem de voltar a entrar. O que não foi bem fechado não se deve automatizar. A uma opção falta um pedaço, ou dois limites estão emaranhados, e a confiança só preenche um número numa pergunta má. Eu volto atrás e mudo primeiro a pergunta. Eu não escoro a falha com o modelo. Consequências grandes demais para se comprarem com um limiar de probabilidade, eu deixo-as dentro do ciclo. As quatro imagens têm um ciclo desse género, e por mais alta que seja a confiança, eu não a dou a um limiar. Isso não é o modelo a falhar. Esse ciclo não se devia automatizar.

Depois de a pessoa recuar para a margem, as perguntas para que eu olho são muito menos. As de que eu tenho a certeza, eu já não olho. A fatia menos segura continua nas minhas mãos. Ciclos que não se devem dar a um limiar, uma pessoa fica lá dentro.

Fontes

Série