JEV - Las personas pasan del centro del bucle al borde

Recoger un fallo y mirar cada pregunta se separan. El sí o no y la opción única de confianza alta entran directos en una rama. Una persona solo trata el corte que rebota, y la confianza tiene que valer de verdad como umbral.

Folkbench folkbench.com

Coautor: folkbench.com (Folkbench es una plataforma revisable de evaluación y selección de API de IA, servicios de modelos y sitios relacionados. Se apoya en información de servicio publicada, precios, disponibilidad, latencia y ventanas de evidencia para ayudar a los usuarios a comparar y a elegir un camino.)

Diez textos en esta serie:

En los dos últimos años, casi cada sistema serio de IA que he visto ha supuesto a una persona dentro del bucle, lo que la gente llama human in the loop. En la salida no se puede confiar. El sistema termina un pasaje y no sabe por sí mismo si el pasaje se puede usar directamente, así que una persona tiene que recogerlo.

Recogerlo, mantenido, se convierte en que una persona mire cada juicio. Eso es con lo que me encontré. Llamar a una persona solo cuando algo ha ido mal es raro. Una persona sentada en el bucle todo el tiempo es lo habitual. Cuando hay pocas preguntas, esa mirada aún parece responsabilidad. Cuando hay muchas, la persona solo las deja pasar, y después del paso el trabajo sigue igual. Esos dos años tomé esto como equipo de serie de un sistema serio. Una salida con esa forma, y una persona tiene que sentarse en medio. No lo leo como pereza.

Más tarde separé dos cosas. Recogerlo es una persona de pie al lado, esperando el momento que no está seguro. Una persona en cada bucle quiere decir que cada pregunta tiene que pasar por sus manos. Yo solía tratarlas como una sola cosa, y entonces no podía sacar a la persona de la mayoría de los bucles. Si ni siquiera sé qué pregunta no está segura, solo puedo mirarlas todas yo.

Lo que el modelo me entregaba era un pasaje. El pasaje puede escribirse muy completo, y puede parecerse mucho a una conclusión, pero no puede entrar en el flujo de control. Tengo que leer primero, leer hacia qué lado quiere llevar el asunto, y luego poner yo la rama. No puedo quitar ese paso. El código quiere un valor, y el pasaje aún no es un valor. La persona se queda en medio del bucle porque la rama tiene que esperar a que yo haya terminado de leer.

Lo que yo revisaba no era la excepción de vez en cuando. Soltar o escalar, tenía que terminar primero una razón, una pieza tras otra. Después de leer bastante, trato un escrito completo como un pensamiento que ya está terminado. La persona seguía sentada en medio del bucle, y el juicio había seguido el pasaje.

Un juicio lo bastante pequeño para entrar en el código

Jev le da la vuelta a eso. El juicio se aprieta lo bastante pequeño, y lo bastante cerrado, para entrar directo en el flujo de control del código. La pregunta se escribe cerrada antes de preguntarse: sí o no, u opción única, o si no un Score. El modelo solo responde la pregunta que ya se ha cerrado. No cuenta el asunto entero como un pasaje. La respuesta entra en una rama. Una persona ya no está en medio.

La pequeñez de la que hablo es la pregunta. El negocio en sí no se ha hecho más pequeño. El negocio se queda tan grande como debe. Lo que se hace más pequeño es la frase que se le pregunta al modelo. Esa frase tiene que poder entrar en una rama del código. Lo que no puede entrar en una rama sigue siendo una nota que una persona tiene que leer, y la persona vuelve al medio del bucle.

Me agarro a esto cuando escribo la pregunta. Si las opciones se pueden escribir, y los límites no pelean, la pregunta se puede hacer. Si solo escribo «use su juicio», eso no es una pregunta cerrada. O la juzgo yo todavía, o se convierte en un pasaje más largo. Esas las guardo. No se las pregunto al modelo.

Con más precisión, a lo que le da la vuelta no es a la persona. Es a «cada juicio necesita que una persona le eche un vistazo». Cada pregunta lleva una confianza. Cuando se puede confiar en la confianza, el sistema envía a una persona solo el corte menos seguro. La persona pasa del centro del bucle al borde. En la parte que está segura, la persona ya no aparece.

Guardo en la cabeza cuatro imágenes poco profundas: si una alerta se cierra, si una factura se paga, si la frase siguiente de atención al cliente escala, y si una ejecución de Agent necesita que mire una persona. Son la misma clase de cosa. El negocio se parte primero en preguntas pequeñas cerradas, y el código camina a partir del resultado. La persona solía estar en medio de estos bucles. Después del corte, la mayoría de las ramas no tienen que llamar a una persona.

Yo solo trato lo que rebota

Así es como lo uso. El sí o no y la opción única de confianza alta van directos a una rama. Yo no abro el contenido. Un Score que cae en un nivel de en medio, con una distribución plana, es lo que me rebota. Uno que solo cae en un nivel de en medio, con una distribución que no es plana, tampoco lo miro. El código sigue. No hay una tercera vía. No dejo que escriba primero una razón y luego decida, a partir de eso, si miro. Hecho así, una persona sigue pasando cada pregunta. Lo que rebota es solo un corte pequeño, y yo puedo tomarlo. Cuando antes pasaba cada pregunta, podía terminar de mirar y aun así no decir qué había juzgado.

Cuando rebota, mire la distribución, no un texto largo. Un texto largo secuestra a una persona. Una vez desplegada la razón, la conclusión por lo común ya se ha elegido, y las palabras escriben hacia abajo a lo largo de esa conclusión. Yo puedo tener otro juicio, y aun así tengo que desmontar primero el pasaje. No puedo señalar la frase en la que se equivocó. Solo estoy menos seguro que él, y me da apuro empujar en contra, y al final del desmontaje a menudo asiento. Una distribución no discute conmigo. Qué pesado es cada nivel, está expuesto. El sitio plano lo veo de un vistazo. Si cambio la decisión, la cambio, sin tener que vencer primero un pasaje escrito muy lleno.

Sigo en este sistema, y estoy ausente de la mayoría de los bucles. El momento en que rebota es el momento que me pertenece. Lo que tengo en la mano es una distribución que no se separó. Elijo yo un lado. El código camina según lo que elegí. Lo que ya se separó termina dentro del código, y no me toca mirarlo. Ya no escribo un pasaje para negociar con el modelo, y no espero a que me envíe una explicación.

La confianza tiene que valer como umbral

Me atrevo a usarlo así con una condición. La confianza tiene que valer de verdad como umbral. Si el modelo puede hacer las preguntas pero no puede decir en qué momento no está seguro, una persona sigue sin poder salir del centro del bucle. El relato oficial dice que lo que entrenan con RLCD es la calibración: más confianza es más exactitud, y entradas parecidas dan respuestas parecidas. Yo confío en esa dirección. La primera frase hace que un umbral tenga sentido. La segunda frase me importa más. Si preguntas parecidas son de un modo hoy y de otro mañana, el umbral que yo ponga no se quedará fijo. Por eso me atrevo a sacar a la persona del centro del bucle.

Si la confianza es adorno, la cosa se invierte. La persona no ha pasado al borde. La persona ha sido sustituida por una máquina que representa mejor la certeza. Da a cada pregunta un número muy lleno, y el número no tiene nada que ver con si es exacto. Si lo uso como condición para dejar pasar algo, suelto cuando no debería. En el modo en que lo uso ahora, no hace eso. Confianza alta, se la doy al código. Lo que rebota, la distribución es plana, sin una frase cortés de incertidumbre pegada.

También hay momentos en que una persona tiene que volver a entrar. Lo que no se ha cerrado bien no debería automatizarse. A una opción le falta un trozo, o dos límites están enredados, y la confianza solo rellena un número en una pregunta mala. Vuelvo primero y cambio la pregunta. No apuntalo el hueco con el modelo. Consecuencias demasiado grandes para comprarlas con un umbral de probabilidad, las dejo dentro del bucle. Las cuatro imágenes tienen un bucle de esa clase, y por alta que sea la confianza, no se lo doy a un umbral. Eso no es que el modelo falle. Ese bucle no debería automatizarse.

Después de que la persona pasa al borde, las preguntas que miro son muchas menos. Las que tengo seguras, ya no las miro. El corte menos seguro sigue en mis manos. Los bucles que no deberían darse a un umbral, una persona se queda dentro.

Fuentes

Serie