Thiết kế circuit breaker cho API AI

Thiết kế circuit breaker cho API AI: hướng dẫn production với quyết định rõ, hiện vật tái sử dụng, kiểm thử lỗi, tín hiệu vận hành và giới hạn có nguồn.

Thiết kế circuit breaker cho API AI: hướng dẫn production với quyết định rõ, hiện vật tái sử dụng, kiểm thử lỗi, tín hiệu vận hành và giới hạn có nguồn.

Trả lời trực tiếp

Triển khai Thiết kế circuit breaker cho API AI như một hợp đồng kiểm soát độ tin cậy, không phải cấu hình dùng một lần. Chốt giao thức, owner, bằng chứng và rollback trước khi chuyển traffic. Điểm kiểm soát: closed, open, half_open, failure_window.

Kết luận được chốt bằng bảng hợp đồng và ví dụ xác định. ai-api-circuit-breaker không được rollout nếu một kiểm soát cứng thiếu bằng chứng wire, readback bền vững hoặc owner.

Phạm vi và trách nhiệm

Tách nhiệm vụ client khỏi control plane. Client sở hữu file hoặc biến; gateway sở hữu xác thực, routing, giới hạn, kế toán và attempt; nhà cung cấp sở hữu giao thức native cùng năng lực thay đổi. Một phản hồi văn bản chỉ chứng minh một đường đi.

Bài viết sở hữu quyết định, rủi ro và xác minh; tài liệu sống sở hữu lệnh và bước UI hay thay đổi. Cách này tạo cây năng lực mà không trùng owner của cùng ý định tìm kiếm.

Bản ghi owner của trang là ai-api-circuit-breaker; các kiểm soát cố định là closed, open, half_open, failure_window. Mọi giá trị được xác minh tại ranh giới wire hoặc trạng thái bền vững, không suy từ nhãn tiếp thị.

Hiện vật thực hành: Thiết kế circuit breaker cho API AI

Bản ghi review sau là hiện vật bàn giao. Giá trị kỹ thuật rõ ràng giúp đối chiếu cấu hình, bằng chứng wire và trạng thái bền vững mà không dựa vào ảnh chụp.

Điểm kiểm soát Quyết định cố định Bằng chứng
breaker_key provider_route_plus_protocol_plus_failure_class route_id + endpoint + normalized_error_class
closed_state rolling_window_with_minimum_sample eligible_attempts + failures + window_bounds
open_state fail_fast_without_upstream_attempt decision_timestamp + reopen_at + returned_error
half_open_state bounded_probe_concurrency probe_count + outcomes + state_transition
fallback same_contract_eligible_route_only eligibility_reason + route_choice + terminal_state
operator_override time_bounded_and_audited actor + reason + expiry + restored_policy

Ví dụ xác định

Ví dụ chỉ dùng placeholder và input xác định. Chỉ thay bằng identifier đã review, không dùng secret hay nội dung khách hàng, và giữ snapshot chính xác.

state = CLOSED
if eligible_failures(window) >= threshold and samples >= minimum:
  state = OPEN
  reopen_at = now + cool_down
if state == OPEN and now < reopen_at:
  return fail_fast
if state == OPEN and now >= reopen_at:
  state = HALF_OPEN
if bounded_probe_succeeds():
  state = CLOSED
else:
  state = OPEN

Các tầng xác minh

Chạy theo thứ tự. Thành công ở bước sau không bù được ranh giới thiếu ở bước trước; mọi attempt phải nối với một yêu cầu logic.

  1. Đóng băng client, chính sách gateway, alias model, route và baseline quan sát. Bằng chứng cho breaker_key: áp dụng provider_route_plus_protocol_plus_failure_class và giữ route_id + endpoint + normalized_error_class.
  2. Chạy probe dương xác định và lưu phản hồi, request ID, route, trạng thái cuối và usage. Bằng chứng cho closed_state: áp dụng rolling_window_with_minimum_sample và giữ eligible_attempts + failures + window_bounds.
  3. Chạy ca âm, giới hạn hoặc disconnect tương ứng và xác nhận lớp lỗi. Bằng chứng cho open_state: áp dụng fail_fast_without_upstream_attempt và giữ decision_timestamp + reopen_at + returned_error.
  4. Lặp lại qua giao thức thật; không suy ra hỗ trợ native từ endpoint khác. Bằng chứng cho half_open_state: áp dụng bounded_probe_concurrency và giữ probe_count + outcomes + state_transition.
  5. Rollout cho cohort giới hạn với owner, hạn dùng, ngưỡng dừng và rollback. Bằng chứng cho fallback: áp dụng same_contract_eligible_route_only và giữ eligibility_reason + route_choice + terminal_state.
  6. Đọc lại cấu hình và kế toán bền vững; xóa quyền và dữ liệu tạm. Bằng chứng cho operator_override: áp dụng time_bounded_and_audited và giữ actor + reason + expiry + restored_policy.

Lỗi phải ngăn chặn

Mỗi mục dưới đây chặn phát hành. HTTP 200, dashboard hay một demo không thay thế các điều kiện này.

  • global_breaker — Khi có global_breaker, dừng rollout và dùng owner, bằng chứng cùng rollback đã định; một probe thành công không thể ghi đè lỗi.
  • mixed_denominator — Khi có mixed_denominator, dừng rollout và dùng owner, bằng chứng cùng rollback đã định; một probe thành công không thể ghi đè lỗi.
  • half_open_stampede — Khi có half_open_stampede, dừng rollout và dùng owner, bằng chứng cùng rollback đã định; một probe thành công không thể ghi đè lỗi.
  • fallback_cascade — Khi có fallback_cascade, dừng rollout và dùng owner, bằng chứng cùng rollback đã định; một probe thành công không thể ghi đè lỗi.

Tín hiệu và điều kiện dừng

Quan sát thành công và tác hại cùng lúc. Ngưỡng thuộc chính sách workload; chốt SLO và mẫu số trước cửa sổ.

Tín hiệu Ngưỡng Hành động
eligible_failure_ratio reviewed_window_and_minimum_sample open_route_breaker
open_fail_fast_latency <_caller_remaining_deadline repair_local_decision_path
half_open_probe_concurrency <=_configured_probe_limit reject_extra_probes
fallback_headroom >=_required_reserved_capacity shed_load_instead_of_failover

Ranh giới Modelflare

Modelflare tập trung routing tương thích và native, key giới hạn, nhóm, usage và xử lý lỗi. Channel đã cấu hình không chứng minh mọi field, alias, cam kết lưu giữ, region hay fallback. Xác minh native và dùng settlement bền vững cuối cùng làm sự thật chi phí.

Đây là phương pháp triển khai, không phải chứng nhận, kết luận pháp lý, lịch sử uptime hay benchmark chung. Kiểm tra lại hợp đồng, model, giá, lưu giữ và region ở T-1; đổi ngày nếu sự thật cốt lõi thay đổi.

Đọc tiếp cụm chủ đề

Bài cha xử lý quyết định rộng, bài anh em xử lý bước tiếp theo và tài liệu giữ cấu hình hiện tại. Link trong bài là cần thiết vì managed CMS chưa có related-slug.

Câu hỏi thường gặp

Thiết kế circuit breaker cho API AI: Một yêu cầu thành công có đủ không?

Không. Ca âm, rollout giới hạn, readback bền vững và điều kiện dừng là các gate riêng.

Thiết kế circuit breaker cho API AI: Có chốt model và giá từ nhiều tháng trước?

Không. Dùng placeholder hoặc snapshot và xác minh lại ở T-1.

Thiết kế circuit breaker cho API AI: Giữ bằng chứng nào?

ID không chứa dữ liệu nhạy cảm, phiên bản, thời gian, trạng thái, usage, phí cuối và quyết định review.

Nguồn và ngày xác minh

Nguồn được kiểm tra ngày 2026-08-07. Nguồn xác lập hợp đồng và nguyên tắc, không chứng minh route chưa thử hay trạng thái tương lai.