Khôi phục an toàn khi stream LLM bị ngắt

Khôi phục an toàn khi stream LLM bị ngắt: hướng dẫn production với quyết định rõ, hiện vật tái sử dụng, kiểm thử lỗi, tín hiệu vận hành và giới hạn có nguồn.

Khôi phục an toàn khi stream LLM bị ngắt: hướng dẫn production với quyết định rõ, hiện vật tái sử dụng, kiểm thử lỗi, tín hiệu vận hành và giới hạn có nguồn.

Trả lời trực tiếp

Triển khai Khôi phục an toàn khi stream LLM bị ngắt như một hợp đồng kiểm soát độ tin cậy, không phải cấu hình dùng một lần. Chốt giao thức, owner, bằng chứng và rollback trước khi chuyển traffic. Điểm kiểm soát: first_event, partial_output, terminal_event, replay_policy.

Kết luận được chốt bằng bảng hợp đồng và ví dụ xác định. llm-stream-disconnect-recovery không được rollout nếu một kiểm soát cứng thiếu bằng chứng wire, readback bền vững hoặc owner.

Phạm vi và trách nhiệm

Tách nhiệm vụ client khỏi control plane. Client sở hữu file hoặc biến; gateway sở hữu xác thực, routing, giới hạn, kế toán và attempt; nhà cung cấp sở hữu giao thức native cùng năng lực thay đổi. Một phản hồi văn bản chỉ chứng minh một đường đi.

Bài viết sở hữu quyết định, rủi ro và xác minh; tài liệu sống sở hữu lệnh và bước UI hay thay đổi. Cách này tạo cây năng lực mà không trùng owner của cùng ý định tìm kiếm.

Bản ghi owner của trang là llm-stream-disconnect-recovery; các kiểm soát cố định là first_event, partial_output, terminal_event, replay_policy. Mọi giá trị được xác minh tại ranh giới wire hoặc trạng thái bền vững, không suy từ nhãn tiếp thị.

Hiện vật thực hành: Khôi phục an toàn khi stream LLM bị ngắt

Bản ghi review sau là hiện vật bàn giao. Giá trị kỹ thuật rõ ràng giúp đối chiếu cấu hình, bằng chứng wire và trạng thái bền vững mà không dựa vào ảnh chụp.

Điểm kiểm soát Quyết định cố định Bằng chứng
stream_identity one_attempt_id_per_connection logical_request_id + attempt_id + provider_request_id
first_effective_event record_exact_transition event_type + timestamp + bytes_received
partial_output incomplete_not_success last_event_type + buffered_item_ids + incomplete_marker
tool_arguments decode_only_after_terminal_boundary call_id + fragment_sequence + completion_event
replay policy_depends_on_side_effect_risk replay_decision + new_attempt_id + prior_attempt_link
billing retain_each_attempt_and_final_settlement attempt_usage + terminal_state + charge_record

Ví dụ xác định

Ví dụ chỉ dùng placeholder và input xác định. Chỉ thay bằng identifier đã review, không dùng secret hay nội dung khách hàng, và giữ snapshot chính xác.

CONNECTING -> STREAMING -> TERMINAL_SUCCESS
     |             |  \
     |             |   -> DISCONNECTED_AFTER_PARTIAL -> INCOMPLETE
     |             -> CLIENT_CANCELLED -> CANCELLED
     -> DISCONNECTED_BEFORE_FIRST_EVENT -> RETRY_ELIGIBLE?

Never concatenate output from two attempt IDs.
Never execute partial tool arguments.

Các tầng xác minh

Chạy theo thứ tự. Thành công ở bước sau không bù được ranh giới thiếu ở bước trước; mọi attempt phải nối với một yêu cầu logic.

  1. Đóng băng client, chính sách gateway, alias model, route và baseline quan sát. Bằng chứng cho stream_identity: áp dụng one_attempt_id_per_connection và giữ logical_request_id + attempt_id + provider_request_id.
  2. Chạy probe dương xác định và lưu phản hồi, request ID, route, trạng thái cuối và usage. Bằng chứng cho first_effective_event: áp dụng record_exact_transition và giữ event_type + timestamp + bytes_received.
  3. Chạy ca âm, giới hạn hoặc disconnect tương ứng và xác nhận lớp lỗi. Bằng chứng cho partial_output: áp dụng incomplete_not_success và giữ last_event_type + buffered_item_ids + incomplete_marker.
  4. Lặp lại qua giao thức thật; không suy ra hỗ trợ native từ endpoint khác. Bằng chứng cho tool_arguments: áp dụng decode_only_after_terminal_boundary và giữ call_id + fragment_sequence + completion_event.
  5. Rollout cho cohort giới hạn với owner, hạn dùng, ngưỡng dừng và rollback. Bằng chứng cho replay: áp dụng policy_depends_on_side_effect_risk và giữ replay_decision + new_attempt_id + prior_attempt_link.
  6. Đọc lại cấu hình và kế toán bền vững; xóa quyền và dữ liệu tạm. Bằng chứng cho billing: áp dụng retain_each_attempt_and_final_settlement và giữ attempt_usage + terminal_state + charge_record.

Lỗi phải ngăn chặn

Mỗi mục dưới đây chặn phát hành. HTTP 200, dashboard hay một demo không thay thế các điều kiện này.

  • blind_reconnect — Khi có blind_reconnect, dừng rollout và dùng owner, bằng chứng cùng rollback đã định; một probe thành công không thể ghi đè lỗi.
  • partial_success — Khi có partial_success, dừng rollout và dùng owner, bằng chứng cùng rollback đã định; một probe thành công không thể ghi đè lỗi.
  • cross_attempt_splice — Khi có cross_attempt_splice, dừng rollout và dùng owner, bằng chứng cùng rollback đã định; một probe thành công không thể ghi đè lỗi.
  • partial_tool_execution — Khi có partial_tool_execution, dừng rollout và dùng owner, bằng chứng cùng rollback đã định; một probe thành công không thể ghi đè lỗi.

Tín hiệu và điều kiện dừng

Quan sát thành công và tác hại cùng lúc. Ngưỡng thuộc chính sách workload; chốt SLO và mẫu số trước cửa sổ.

Tín hiệu Ngưỡng Hành động
disconnect_before_first_event_rate workload_SLO_threshold inspect_connect_and_header_phases
disconnect_after_partial_rate workload_SLO_threshold mark_incomplete_and_stop_auto_retry
stream_without_terminal_event 0_success_classifications reclassify_and_investigate
cross_attempt_fragment_count 0 disable_recovery_path

Ranh giới Modelflare

Modelflare tập trung routing tương thích và native, key giới hạn, nhóm, usage và xử lý lỗi. Channel đã cấu hình không chứng minh mọi field, alias, cam kết lưu giữ, region hay fallback. Xác minh native và dùng settlement bền vững cuối cùng làm sự thật chi phí.

Đây là phương pháp triển khai, không phải chứng nhận, kết luận pháp lý, lịch sử uptime hay benchmark chung. Kiểm tra lại hợp đồng, model, giá, lưu giữ và region ở T-1; đổi ngày nếu sự thật cốt lõi thay đổi.

Đọc tiếp cụm chủ đề

Bài cha xử lý quyết định rộng, bài anh em xử lý bước tiếp theo và tài liệu giữ cấu hình hiện tại. Link trong bài là cần thiết vì managed CMS chưa có related-slug.

Câu hỏi thường gặp

Khôi phục an toàn khi stream LLM bị ngắt: Một yêu cầu thành công có đủ không?

Không. Ca âm, rollout giới hạn, readback bền vững và điều kiện dừng là các gate riêng.

Khôi phục an toàn khi stream LLM bị ngắt: Có chốt model và giá từ nhiều tháng trước?

Không. Dùng placeholder hoặc snapshot và xác minh lại ở T-1.

Khôi phục an toàn khi stream LLM bị ngắt: Giữ bằng chứng nào?

ID không chứa dữ liệu nhạy cảm, phiên bản, thời gian, trạng thái, usage, phí cuối và quyết định review.

Nguồn và ngày xác minh

Nguồn được kiểm tra ngày 2026-08-07. Nguồn xác lập hợp đồng và nguyên tắc, không chứng minh route chưa thử hay trạng thái tương lai.