Chiến lược chuyển tuyến khi lỗi cho API AI: ma trận lỗi nhà cung cấp

Chính sách theo giai đoạn để chọn thử lại, chuyển sang tuyến cùng hợp đồng, dừng, đối soát tác dụng phụ hoặc điều tra tuyến.

Chiến lược chuyển tuyến khi lỗi cho API AI: ma trận lỗi nhà cung cấp

Thử lại lời gọi API AI, chuyển sang tuyến dự phòng và thay thế mô hình là ba hành động khác nhau. Thử lại tạo một lần thực hiện mới theo cùng hợp đồng. Chuyển tuyến dự phòng gửi mô hình và giao thức được yêu cầu qua một đường dẫn đủ điều kiện khác. Thay thế mô hình làm đổi mô hình, vì vậy chất lượng, giá, độ trễ, hành vi công cụ, giới hạn ngữ cảnh và định dạng đầu ra đều có thể thay đổi.

Một chính sách đáng tin cậy phải xác định hành động được phép trước khi sự cố xảy ra. Quyết định cần dựa trên loại lỗi, giai đoạn phản hồi, tính lũy đẳng của toàn bộ thao tác và số lần thử còn nằm trong thời hạn của người dùng.

Tách biệt thử lại, chuyển tuyến dự phòng và thay thế mô hình

Dùng tên khác nhau trong cấu hình, nhật ký và sổ tay vận hành.

Hành động Thành phần thay đổi Mục đích phù hợp Rủi ro chính
Thử lại trên cùng tuyến Thời gian và số thứ tự lần thử Khôi phục lỗi tạm thời ngắn trên cùng tuyến Tiếp tục tạo tải lên thành phần phụ thuộc đang gặp sự cố
Tuyến dự phòng cùng hợp đồng Kênh nhà cung cấp, tài khoản hoặc nhóm có thứ tự Giữ nguyên mô hình và giao thức khi một đường dẫn lỗi Sự không tương thích bị che giấu giữa các tuyến được cho là tương đương
Thay thế mô hình ID mô hình hoặc chính sách mô hình có tên Đánh đổi chất lượng, chi phí hoặc khả dụng đã được sản phẩm phê duyệt Âm thầm thay đổi hành vi và cách tính phí

Không gọi cả ba là “thử lại”. Đội vận hành cần biết yêu cầu được thực hiện lại, chuyển sang đường dẫn khác hay được mô hình khác trả lời. Với người dùng, thay thế mô hình phải là một hợp đồng sản phẩm rõ ràng, không phải lối tắt khôi phục bị che giấu.

Một số cổng API hỗ trợ các bước theo nhà cung cấp hoặc mô hình theo thứ tự. Ví dụ, tài liệu Cloudflare về tuyến dự phòng cho biết bước nào tạo ra phản hồi thành công. Điều đáng học không phải chính sách cụ thể của một nhà cung cấp, mà là lưu bằng chứng cho từng lần thử mỗi khi tuyến thay đổi.

Áp dụng bốn bước kiểm tra trước khi lặp lại yêu cầu

Chỉ mã trạng thái không đủ để tạo thành chính sách thử lại. Hãy đánh giá:

  1. Loại lỗi: lỗi tạm thời, vĩnh viễn, do bên gọi gây ra hay có kết quả không xác định?
  2. Giai đoạn phản hồi: lỗi xảy ra trước tiêu đề, trước đầu ra hữu ích hay sau khi đã giao đầu ra?
  3. Tính lũy đẳng: có thể lặp lại toàn bộ thao tác mà không tạo tác động bên ngoài trùng lặp không?
  4. Ngân sách lần thử: còn đủ thời gian thực tế và lượt thử chưa dùng không?

Chiến lược thử lại của Google Cloud cũng tách hai điều cơ bản cho API nói chung: phản hồi cho biết thử lại có thể hữu ích hay không, còn tính lũy đẳng quyết định việc lặp lại có an toàn hay không. Lỗi 408, 429, 5xx, hết thời gian chờ socket và mất kết nối thường chỉ là tạm thời, nhưng thao tác không lũy đẳng cần điều kiện chặt hơn.

Trong quy trình AI, tính lũy đẳng vượt ra ngoài yêu cầu HTTP tới mô hình. Gửi lại chỉ dẫn có thể đề xuất lại email, hoàn tiền, triển khai hoặc ghi cơ sở dữ liệu. Mỗi lần thực thi công cụ cần khóa lũy đẳng ổn định và kết quả được lưu bền vững, ngay cả khi suy luận chỉ đọc dữ liệu.

Bắt đầu bằng ma trận lỗi

Ma trận sau là chính sách thận trọng ở tầng ứng dụng. Cổng API có thể đã chuyển nội bộ sang một kênh khác cùng hợp đồng trước khi ứng dụng nhận kết quả cuối cùng, vì vậy cần phối hợp hai tầng.

Lỗi hoặc giai đoạn Thử lại trên cùng tuyến Tuyến dự phòng cùng hợp đồng Dừng hoặc điều tra Lý do
Lỗi xác thực dữ liệu phía khách, trường không được hỗ trợ hoặc yêu cầu sai định dạng Không Không Sửa yêu cầu Lặp lại cùng hợp đồng không hợp lệ sẽ không thành công
Lỗi xác thực, phân quyền, hạn mức hoặc từ chối theo chính sách của cổng API Không Không Sửa tài khoản hoặc chính sách Tuyến nhà cung cấp khác không được vượt qua quyết định của cổng API
Lỗi thông tin xác thực hoặc tài khoản nhà cung cấp trước đầu ra Không trên tuyến lỗi Có, nếu có kênh đã xác minh Cô lập và điều tra kênh Có thể loại thông tin xác thực lỗi mà vẫn giữ nguyên hợp đồng
Lỗi mạng hoặc 408 trước đầu ra Tối đa một lần thử có giới hạn nếu thao tác lũy đẳng Có Dừng khi hết thời hạn Có thể chỉ là tạm thời, nhưng kết quả sau khi mất kết nối có thể mơ hồ
429 trước đầu ra Thử lại có trì hoãn theo Retry-After Có nếu tuyến tương đương còn dung lượng Dừng khi hết ngân sách Lặp lại ngay làm tình trạng giới hạn tốc độ nặng hơn
500, 502, 503, 504 trước đầu ra Thử lại có giới hạn với thời gian chờ tăng dần Có Điều tra tuyến lỗi lặp lại Thường chỉ là tạm thời nhưng không chứng minh mọi tuyến đều an toàn
Phản hồi nhà cung cấp không đúng lược đồ trước khi gửi đầu ra xuống dưới Thường không Chỉ tới tuyến đã xác minh với cùng lược đồ Cô lập hoặc kiểm tra khả năng tương thích Lặp lại cách triển khai không tương thích hiếm khi giúp ích
Mô hình từ chối hoặc phản hồi phù hợp chính sách an toàn Không Không Trả kết quả Một lời từ chối hợp lệ không phải lỗi hạ tầng
Bên gọi hủy hoặc phía nhận trả 499 Không Không Dừng ngay Bên gọi không còn cần kết quả
Luồng một phần sau khi đã gửi nội dung hoặc đối số công cụ Không lặp lại trong suốt Không chuyển tuyến trong suốt Đánh dấu kết quả một phần; ứng dụng quyết định Luồng thứ hai có thể lặp lại hoặc mâu thuẫn với đầu ra đã gửi
Không rõ tác động bên ngoài của công cụ đã hoàn tất hay chưa Không trước khi đối soát Không trước khi đối soát Kiểm tra bản ghi lũy đẳng hoặc hệ thống đích Suy luận lại có thể đề xuất cùng tác động một lần nữa

503 trước mọi đầu ra khác hoàn toàn với kết nối bị đóng sau khi 400 token đã hiển thị.

Xem lúc luồng bắt đầu là ranh giới cam kết

Trước khi bắt đầu gửi đầu ra xuống dưới, cổng API có thể bỏ lần thử lỗi và chọn tuyến khác mà không để lộ hai câu trả lời. Sau byte có ý nghĩa đầu tiên, việc lặp lại trong suốt không còn an toàn.

Khởi động lại luồng có thể:

  • lặp phần đầu câu trả lời;
  • tạo phần tiếp theo khác;
  • phát lệnh gọi hàm trùng với ID lệnh gọi mới;
  • thay đổi mức sử dụng và chi phí mà không có ranh giới rõ;
  • khiến phía khách không biết sự kiện thuộc lần thử nào.

Nếu luồng hỏng sau khi đầu ra bắt đầu, hãy trả lỗi kết quả một phần hoặc lỗi truyền tải cùng ID yêu cầu ban đầu. Ứng dụng có thể đưa nút “thử lại” rõ ràng, tiếp tục từ điểm kiểm tra an toàn hoặc bỏ đầu ra một phần. Không nối luồng mô hình mới vào luồng cũ như thể không có lỗi.

Với lệnh gọi hàm, hãy lưu ID lệnh gọi công cụ đã chấp nhận và kết quả tác động bên ngoài trước khi lần thử lại có thể tạo lại chúng. So sánh định dạng gọi hàm giải thích quan hệ giữa ID lệnh gọi và tính lũy đẳng của ứng dụng.

Giới hạn thời gian chờ theo số lần thử và tổng thời gian

Thời gian chờ tăng theo cấp số nhân giúp phân bố các lần thử; thêm độ lệch ngẫu nhiên giúp tránh việc nhiều khách cùng thử lại sau một sự cố chung.

delay_cap = min(max_delay, base_delay * 2^retry_index)
sleep_for = random_between(0, delay_cap)

Tuân theo Retry-After hợp lệ nếu nó còn nằm trong thời hạn. Thời gian chờ không tự cấp quyền thử lại: trước tiên phải vượt qua các điều kiện về loại lỗi và tính lũy đẳng.

Đặt ngân sách tổng thay vì chỉ đếm số lần thử lại:

  • số lần thử tối đa cho một hành động của người dùng;
  • tổng thời gian tối đa, gồm thời gian trong hàng đợi và thời gian chờ;
  • giới hạn lần thử trước và sau khi chọn nhóm dự phòng;
  • thời gian tối thiểu còn lại để tạo câu trả lời hữu ích;
  • truyền lệnh hủy của bên gọi tới mọi lần thử đang hoạt động.

Với yêu cầu tương tác có thời hạn 15 giây, ba lần thử, mỗi lần 10 giây, không phải là chính sách có thể thực thi. Tác vụ theo lô có thể dùng ngân sách dài hơn nhưng vẫn cần thời hạn cuối và ID tác vụ bền vững.

Ngăn khuếch đại số lần thử giữa các tầng

Nếu SDK thử ba lần, cổng API thử ba tuyến cho mỗi yêu cầu và proxy của nhà cung cấp gọi hai lần trên mỗi tuyến:

3 lần thử từ máy khách × 3 lần thử tại cổng trung gian × 2 lần thử tới nhà cung cấp = 18 lượt gọi nhà cung cấp

Một hành động của người dùng biến thành 18 lệnh gọi nhà cung cấp. Trong sự cố, hàng đợi, giới hạn tốc độ, chi phí và thời gian khôi phục đều tăng.

Phân công trách nhiệm thử lại rõ ràng:

  • cổng API chịu trách nhiệm chuyển ngay sang kênh khác cùng hợp đồng;
  • ứng dụng quyết định có thể lặp lại toàn bộ hành động của người dùng hay không;
  • chức năng thử lại tự động của SDK bị tắt hoặc giới hạn nếu cổng API đã thử lại;
  • tác vụ bất đồng bộ dùng một ID tác vụ bền vững và sổ theo dõi lần thử;
  • không tầng nào bắt đầu lần thử mới sau khi bên gọi đã hủy.

Ghi cả số thứ tự lần thử tại tầng hiện tại và ID yêu cầu đầu cuối ổn định. Nếu không, mỗi thành phần chỉ có vẻ thử hai hoặc ba lần trong khi mức khuếch đại tổng bị che giấu.

Xác minh tuyến dự phòng thực sự giữ nguyên hợp đồng

Cùng một tên mô hình công khai không chứng minh hai tuyến hoạt động giống nhau. Trước khi thêm kênh vào tập tuyến dự phòng trong suốt, cần có bằng chứng:

Phạm vi hợp đồng Bằng chứng cần có
Danh tính mô hình Mô hình được yêu cầu khả dụng mà không bị âm thầm ánh xạ sang mô hình khác
Điểm cuối Yêu cầu Responses hoặc Chat Completions được chấp nhận đúng cấu hình
Truyền luồng Loại sự kiện, kết thúc, mức sử dụng và hủy đều hoạt động
Đầu ra có cấu trúc Phần cần thiết của JSON Schema và chế độ nghiêm ngặt đều hoạt động
Gọi hàm Công cụ, ID lệnh gọi, luồng đối số và kết quả đi được cả hai chiều
Giới hạn Ngữ cảnh, đầu ra, tốc độ và mức đồng thời phù hợp với tải công việc
Lỗi Mã trạng thái và nội dung lỗi phân loại được mà không làm lộ bí mật
Mức sử dụng và chi phí Token, trường bộ nhớ đệm, cấp dịch vụ và chính sách giá đều rõ ràng
An toàn và khu vực Chính sách, đường đi dữ liệu và yêu cầu nơi lưu trữ vẫn phù hợp

Nếu một tuyến không đạt yêu cầu bắt buộc, nó không phải tuyến dự phòng trong suốt cho tải công việc đó. Tuyến này vẫn có thể được dùng theo một chính sách sản phẩm riêng và rõ ràng.

Đổi mô hình luôn là quyết định sản phẩm. Cần xác định mô hình được phép, mức chất lượng tối thiểu, giá tối đa, hợp đồng công cụ và nội dung thông báo cho người dùng. Không âm thầm chuyển sang mô hình rẻ hơn hoặc kém năng lực hơn chỉ vì tuyến gặp lỗi.

Hiểu cách Modelflare chuyển tuyến hiện nay

Modelflare tìm đường dẫn đủ điều kiện cho mô hình mà khách API yêu cầu. Khóa API thông thường có một nhóm chính và có thể có danh sách nhóm dự phòng theo thứ tự. Khóa API thông minh đánh giá các nhóm khả dụng theo chiến lược định tuyến. Cả hai không được âm thầm thay mô hình đã yêu cầu.

Việc tiếp nhận theo RPM ở cấp nhóm diễn ra trước khi tính phí và gửi yêu cầu tới nhà cung cấp. Nếu nhóm được chọn đã đầy, hệ thống có thể đánh giá nhóm dự phòng tiếp theo hoặc một ứng viên định tuyến thông minh; nếu không còn nhóm đủ điều kiện, yêu cầu trả về 429.

Trong nhóm, độ ưu tiên của kênh xác định thứ tự chuyển đổi tài khoản. Sau lỗi từ nhà cung cấp, kênh lỗi bị loại và quá trình chọn tiếp tục. Việc chuyển kênh hiện nay độc lập với RetryTimes và AutomaticRetryStatusCodes; nó dừng khi thành công, hết tuyến, bên gọi hủy hoặc đầu ra xuống dưới đã bắt đầu.

Đây là quyết định nội bộ về đường dẫn cho cùng một mô hình, không phải quyền cho phía khách thêm vòng lặp vô hạn. Xem Định tuyến API AI đáng tin cậy để thiết kế nhóm và kênh, cùng Khắc phục lỗi API AI để phân biệt lỗi chính sách của cổng API với lỗi từ nhà cung cấp.

Giữ bằng chứng cho từng lần thử

200 cuối không chứng minh tuyến đầu thành công. ID kênh cuối cùng cũng không mô tả các lần thử thất bại. Ít nhất hãy giữ:

  • ID yêu cầu ổn định và ID tương quan mà bên gọi nhìn thấy;
  • thứ tự lần thử và tham chiếu nhóm/kênh;
  • mô hình và hợp đồng điểm cuối của từng lần thử;
  • trạng thái lỗi, loại lỗi và giai đoạn luồng;
  • đầu ra xuống dưới đã bắt đầu hay chưa;
  • các mốc thời gian và trạng thái hủy;
  • mức sử dụng token đầu vào, đầu ra và bộ nhớ đệm nếu có;
  • phân bổ chi phí cho từng lần thử đã hoàn tất hoặc có thể tính phí;
  • lý do kết thúc: thành công, hết tuyến, bị hủy, kết quả một phần hoặc dừng theo chính sách.

Không lưu khóa API, chỉ dẫn thô, phản hồi thô hoặc thông tin xác thực của nhà cung cấp chỉ để chẩn đoán việc chuyển tuyến. Loại lỗi đã loại bỏ dữ liệu nhạy cảm và siêu dữ liệu thời gian thường đã đủ; kho lưu yêu cầu chỉ nên bị giới hạn, có thời hạn ngắn và được bật rõ ràng cho điều tra lỗi.

Diễn tập chính sách trước khi nhận lưu lượng thực tế

Dùng ranh giới giao thức thật với đầu vào an toàn và xác định:

  1. vô hiệu kênh chính trước tiêu đề và kiểm tra đường dẫn tiếp theo cho cùng mô hình;
  2. trả lỗi giới hạn tốc độ và xác minh giới hạn lần thử cùng Retry-After;
  3. hủy lời gọi và chứng minh không có lần thử mới nào bắt đầu;
  4. ngắt luồng sau đầu ra và ngăn việc lặp lại trong suốt;
  5. gửi yêu cầu không hợp lệ và xác nhận chuyển tuyến không che lỗi;
  6. lặp quy trình công cụ và xác nhận chỉ có một tác động bên ngoài;
  7. dùng hết mọi tuyến và kiểm tra một lỗi kết thúc rõ ràng;
  8. xem sổ theo dõi lần thử rồi đối soát mức sử dụng và chi phí.

Triển khai trước cho tải công việc nhỏ. Theo dõi riêng số lần thử, tỷ lệ thành công sau khi chuyển tuyến và tỷ lệ thành công thô, đồng thời duy trì cách nhanh để loại tuyến đang gặp sự cố. Mục tiêu không phải tối đa hóa số lần chuyển tuyến, mà là khôi phục an toàn trong thời hạn hữu hạn, giữ nguyên hợp đồng mô hình và có bằng chứng cho mọi lần thử.