Recuperarse de desconexiones de streams LLM

Recuperarse de desconexiones de streams LLM: guía de producción con decisión explícita, artefacto reutilizable, pruebas de fallo, señales operativas y límites respaldados por fuentes.

Recuperarse de desconexiones de streams LLM: guía de producción con decisión explícita, artefacto reutilizable, pruebas de fallo, señales operativas y límites respaldados por fuentes.

Respuesta directa

Implemente Recuperarse de desconexiones de streams LLM como un contrato de control de fiabilidad, no como una configuración puntual. Fije protocolo, owner, evidencia y rollback antes de mover tráfico. Los puntos de control son first_event, partial_output, terminal_event, replay_policy.

La conclusión queda fijada por la tabla contractual y el ejemplo determinista. llm-stream-disconnect-recovery no entra en rollout si un control duro carece de evidencia de red, relectura duradera u owner.

Alcance y responsabilidades

Separe la tarea del cliente del plano de control. El cliente posee su archivo o variable; el gateway posee autenticación, rutas, límites, contabilidad e intentos; el proveedor posee el protocolo nativo y las capacidades cambiantes. Una respuesta de texto solo prueba una ruta y un instante.

Este artículo posee la decisión, los riesgos y la prueba; la documentación viva conserva comandos y pasos de interfaz volátiles. Así se forma un árbol de capacidades sin duplicar el owner de una intención de búsqueda.

El registro owner de esta página es llm-stream-disconnect-recovery y sus controles fijados son first_event, partial_output, terminal_event, replay_policy. Cada valor se revisa en el límite de red o estado duradero, nunca desde una etiqueta comercial.

Artefacto práctico: Recuperarse de desconexiones de streams LLM

Este registro de revisión es el artefacto entregable. Los valores técnicos son explícitos para comparar configuración, evidencia de red y estado persistente sin depender de capturas.

Control Decisión fijada Evidencia
stream_identity one_attempt_id_per_connection logical_request_id + attempt_id + provider_request_id
first_effective_event record_exact_transition event_type + timestamp + bytes_received
partial_output incomplete_not_success last_event_type + buffered_item_ids + incomplete_marker
tool_arguments decode_only_after_terminal_boundary call_id + fragment_sequence + completion_event
replay policy_depends_on_side_effect_risk replay_decision + new_attempt_id + prior_attempt_link
billing retain_each_attempt_and_final_settlement attempt_usage + terminal_state + charge_record

Ejemplo determinista

El ejemplo usa marcadores e inputs deterministas. Sustituya solo identificadores revisados, nunca credenciales ni contenido de clientes, y conserve la instantánea exacta.

CONNECTING -> STREAMING -> TERMINAL_SUCCESS
     |             |  \
     |             |   -> DISCONNECTED_AFTER_PARTIAL -> INCOMPLETE
     |             -> CLIENT_CANCELLED -> CANCELLED
     -> DISCONNECTED_BEFORE_FIRST_EVENT -> RETRY_ELIGIBLE?

Never concatenate output from two attempt IDs.
Never execute partial tool arguments.

Escalera de verificación

Ejecute los controles en orden. Un control posterior no compensa un límite anterior ausente y cada intento debe enlazarse con una solicitud lógica.

  1. Congele cliente, política del gateway, alias de modelo, rutas y línea base observable. Registro de evidencia para stream_identity: aplicar one_attempt_id_per_connection y conservar logical_request_id + attempt_id + provider_request_id.
  2. Ejecute una prueba positiva determinista y conserve respuesta, request ID, ruta, estado terminal y uso. Registro de evidencia para first_effective_event: aplicar record_exact_transition y conservar event_type + timestamp + bytes_received.
  3. Ejecute el caso negativo, límite o desconexión correspondiente y compruebe la capa de fallo. Registro de evidencia para partial_output: aplicar incomplete_not_success y conservar last_event_type + buffered_item_ids + incomplete_marker.
  4. Repita por el protocolo real; no infiera soporte nativo desde otro endpoint compatible. Registro de evidencia para tool_arguments: aplicar decode_only_after_terminal_boundary y conservar call_id + fragment_sequence + completion_event.
  5. Despliegue a una cohorte limitada con owner, caducidad, umbral de parada y rollback. Registro de evidencia para replay: aplicar policy_depends_on_side_effect_risk y conservar replay_decision + new_attempt_id + prior_attempt_link.
  6. Relea configuración y contabilidad persistentes; elimine acceso y datos temporales. Registro de evidencia para billing: aplicar retain_each_attempt_and_final_settlement y conservar attempt_usage + terminal_state + charge_record.

Fallos que hay que evitar

Cada punto siguiente bloquea la publicación. Un HTTP 200, un dashboard atractivo o una demo no anulan estas condiciones.

  • blind_reconnect — Si aparece blind_reconnect, detenga el rollout y use el owner, la evidencia y el rollback definidos; una muestra correcta no lo anula.
  • partial_success — Si aparece partial_success, detenga el rollout y use el owner, la evidencia y el rollback definidos; una muestra correcta no lo anula.
  • cross_attempt_splice — Si aparece cross_attempt_splice, detenga el rollout y use el owner, la evidencia y el rollback definidos; una muestra correcta no lo anula.
  • partial_tool_execution — Si aparece partial_tool_execution, detenga el rollout y use el owner, la evidencia y el rollback definidos; una muestra correcta no lo anula.

Señales y condiciones de parada

Observe éxito y daño juntos. El umbral pertenece a la política del workload; defina SLO y denominador antes de abrir la ventana.

Señal Umbral Acción
disconnect_before_first_event_rate workload_SLO_threshold inspect_connect_and_header_phases
disconnect_after_partial_rate workload_SLO_threshold mark_incomplete_and_stop_auto_retry
stream_without_terminal_event 0_success_classifications reclassify_and_investigate
cross_attempt_fragment_count 0 disable_recovery_path

Límites de Modelflare

Modelflare centraliza rutas compatibles y nativas, claves acotadas, grupos, uso y fallos. Un canal configurado no prueba todos los campos, alias, compromisos de retención, regiones o fallbacks. Verifique por protocolo nativo y use la liquidación persistente como verdad de facturación.

Es un método de implementación, no una certificación, conclusión legal, historial de uptime ni benchmark universal. Revise contrato, modelos, precios, retención y regiones en T-1; mueva la fecha si cambia un hecho central.

Continuar por el clúster temático

El artículo padre cubre la decisión amplia, el hermano el siguiente paso y la documentación la configuración actual. Los enlaces en el cuerpo son necesarios porque el CMS gestionado no dispone de related-slug.

Preguntas frecuentes

Recuperarse de desconexiones de streams LLM: ¿Basta una solicitud correcta para aprobar?

No. Caso negativo, rollout acotado, relectura persistente y parada son gates separados.

Recuperarse de desconexiones de streams LLM: ¿Se fijan modelos y precios meses antes?

No. Use marcadores o snapshots y revalide en T-1.

Recuperarse de desconexiones de streams LLM: ¿Qué evidencia se conserva?

IDs sin datos sensibles, versión, tiempos, estado, uso, cargo final y decisión.

Fuentes y fecha de verificación

Fuentes comprobadas el 2026-08-07. Definen contratos y principios; no prueban rutas no ensayadas ni estados futuros.