JEV - Salir del bucle: la confianza entra en el código

Cuando la confianza queda escrita en la rama, la persona sale del camino obligatorio de cada incidencia y solo atiende las pocas cuya probabilidad sigue dispersa. Las acciones de alto privilegio siguen ejecutándose en código, por encima de un umbral.

JEV - Salir del bucle: la confianza entra en el código

Coautor: folkbench.com (Folkbench es una plataforma revisable de evaluación y selección de API de IA, servicios de modelos y sitios relacionados. Se apoya en información de servicio publicada, precios, disponibilidad, latencia y ventanas de evidencia para ayudar a los usuarios a comparar y a elegir un camino.)

Diez textos en esta serie:

Una persona en medio del bucle era un compromiso: el modelo podía decir disparates, así que una persona se plantaba delante de cada acción de alto riesgo. Déjela ahí el tiempo suficiente y la persona se vuelve deuda de arquitectura. El caudal ya no depende del ancho de banda. Depende de si alguien está de turno. Jev le da la vuelta. La confianza se escribe en la rama. La persona baja del tronco al borde, y solo atiende el tramo corto en el que la distribución sigue dispersa.

Por qué se trajo a la persona

Un modelo de chat es un continuador de texto. La forma de la salida es inestable, y una alucinación se convierte en un incidente. Finanzas, despacho y cumplimiento apilaron por eso dos capas de defensa.

La capa de análisis no deja de engrosarse

Para sacar un JSON válido de un párrafo, alrededor crecen Pydantic, los reintentos, las listas negras de palabras clave y una segunda instrucción. Un juicio pasa a ser: escribir la instrucción, esperar la generación, fallar el análisis, volver a instruir, volver a evaluar. La latencia crece de una llamada a un bucle.

La cola humana se convierte en el tronco

Cuando la defensa sigue sin poder prometer nada, el producto dice: cuelgue aquí una cola humana. El sistema se vuelve «el modelo redacta, la persona decide».

  • El techo es la velocidad de una persona y su turno, no la máquina.
  • La persona salta entre sistemas y lee prosa sin estructura. La fatiga misma provoca errores.
  • El cómputo que usted compró acaba como una máquina de borradores delante de quien teclea. Eso es seudoautomatización.

Escribir la confianza en la rama

No se podía escribir el modelo directo dentro de un if, porque «tengo un 90 por ciento de seguridad» era en sí poco fiable y difícil de comparar. Lo que Jev devuelve es una probabilidad sobre una pregunta cerrada. Si llega a lo que la política permite, el código corre. Si queda dispersa, va a la cola del borde.

request
  │
  ▼
Jev
  ├─ probability clears the threshold ─► code runs
  └─ probability does not             ─► a person at the edge

Primero se recoge la probabilidad

No escribe el porqué. Comprime el sentido sobre las clases o los peldaños que usted definió, y devuelve números. El lado izquierdo del muro absorbe el desorden del lenguaje natural. El lado derecho es solo un número que se puede probar.

El umbral es la ruta

El umbral es política, no un ajuste de fábrica del modelo. Una acción de alto privilegio, como un reembolso, puede exigir que la probabilidad de «sí» supere 0.99. Por encima, corre como una rama dura. Por debajo, no fuerce la automatización. 0.99 aquí es un ejemplo. Cada negocio escribe el suyo.

La persona se queda en el borde

La persona ya no está en cada nodo del tronco. La cola humana deja de ser el camino obligatorio y pasa a ser una intercepción de excepciones. Lleva la minoría borrosa, no cada incidencia.

Una incidencia, dos maneras de escribirla

Primero generar, luego analizar

def handle_ticket_legacy(ticket_text: str):
    prompt = f"""
    Read the ticket and return JSON:
    {{"intent": "REFUND"|"COMPLAINT"|"OTHER", "urgency": "HIGH"|"LOW"}}
    Ticket: {ticket_text}
    """
    raw = chat_model.complete(prompt)
    try:
        data = json.loads(raw)
    except json.JSONDecodeError:
        return push_to_human(ticket_text, reason="parse")
    if data.get("intent") == "REFUND" and data.get("urgency") == "HIGH":
        # no trustworthy confidence, so the privileged action still will not run itself
        return push_to_human(ticket_text, data)
    return default_route(data)

El análisis tiene que lidiar con campos que faltan y con un formato roto. Aunque el análisis acierte, usted no sabe cuán estable era, y la rama de alto riesgo sigue volviendo a una persona.

La distribución entra en la rama

def handle_ticket_jev(ticket_text: str):
    refund = jev.noul(state=ticket_text, statement="this is a high-risk request that should enter refund review automatically")
    kind = jev.choice(
        state=ticket_text,
        options=["HIGH_RISK_REFUND", "NORMAL_INQUIRY", "SPAM"],
    )
    if kind.top == "HIGH_RISK_REFUND" and refund.p_yes >= 0.99:
        return execute_refund_review(ticket_text)
    if kind.top == "NORMAL_INQUIRY" and kind.probability >= 0.95:
        return auto_reply(ticket_text)
    return push_to_edge_human(ticket_text, confidence=kind.probability)

Esto no le concede al modelo un derecho a reembolsar. Una acción de alto privilegio sigue siendo una función que el código llama por encima de un umbral. Las comprobaciones contables dentro de esa función no pierden ni una línea. El modelo solo aporta la probabilidad de una pregunta cerrada.

Lado a lado

Dimensión Primero generar, persona en el bucle Distribución escrita en la rama
Flujo de control try-catch, reintento, barreras Un umbral y una rama ordinaria
Latencia Una generación, a menudo por encima de un segundo; esperar a una persona son horas Una llamada cerrada ronda los 70–500 ms; una persona aparece solo en el borde
Dónde se sienta la persona A menudo en el tronco Solo cuando la probabilidad no basta
Estado Un tramo de texto en el medio Pasa, o no pasa

El determinismo vuelve al if

El software quiere una rama que se pueda probar. Cuando un modelo de chat entra en el tronco, una frase que puede cambiar de forma se sienta delante del if. Una pregunta cerrada deja ese cambio de forma a la izquierda del muro. El lado derecho sigue siendo if y else.

Una persona es el mayor trozo de fricción cuando cada solicitud espera un clic. Sáquela del tronco, y el tráfico que supera el umbral ya no se detiene para una confirmación. Cuando la probabilidad cae, el sistema se desliza hacia el borde en lo local. No bloquea toda la cadena.

Una persona en medio del bucle fue el compromiso que se pagó al principio. El cableado maduro no usa a una persona como pieza. Usa a una persona para mirar los pocos casos que siguen dispersos, y para tratar las excepciones extremas. La articulación se queda con la inclinación. La persona se queda con el tramo que todavía no se ha escrito en la política.

Serie