Strategi pengalihan saat gagal untuk API AI: matriks kegagalan penyedia
Kebijakan berbasis fase untuk memilih percobaan ulang, jalur dengan kontrak yang sama, berhenti, merekonsiliasi efek samping, atau menyelidiki jalur.

Percobaan ulang API AI, pengalihan rute, dan penggantian model adalah tiga tindakan berbeda. Percobaan ulang menjalankan upaya baru dengan kontrak yang sama. Pengalihan rute mengirim model dan protokol yang diminta melalui jalur lain yang memenuhi syarat. Penggantian model mengubah model sehingga kualitas, harga, latensi, perilaku alat, batas konteks, dan format keluaran juga dapat berubah.
Kebijakan yang andal menetapkan tindakan yang diizinkan sebelum insiden. Keputusan harus mempertimbangkan kelas kegagalan, fase respons, idempotensi dari keseluruhan operasi, dan jumlah upaya yang masih muat dalam tenggat pengguna.
Pisahkan percobaan ulang, pengalihan rute, dan penggantian model
Gunakan nama berbeda dalam konfigurasi, log, dan panduan operasi.
| Tindakan | Yang berubah | Tujuan yang tepat | Risiko utama |
|---|---|---|---|
| Percobaan ulang di rute yang sama | Waktu dan nomor upaya | Pulih dari kegagalan sementara singkat pada rute yang sama | Menambah beban pada dependensi yang bermasalah |
| Rute alternatif dengan kontrak yang sama | Saluran penyedia, akun, atau grup berurutan | Menjaga model dan protokol saat satu jalur gagal | Ketidakcocokan tersembunyi antar-rute yang dianggap setara |
| Penggantian model | ID model atau kebijakan model bernama | Kompromi kualitas, biaya, atau ketersediaan yang disetujui tim produk | Perubahan perilaku dan penagihan secara diam-diam |
Jangan menyebut ketiganya “percobaan ulang”. Operator perlu mengetahui apakah permintaan diulang, dialihkan ke jalur lain, atau dijawab oleh model lain. Bagi pengguna, penggantian model harus menjadi kontrak produk yang jelas, bukan jalan pintas pemulihan yang tidak terlihat.
Beberapa gateway mendukung urutan langkah berdasarkan penyedia atau model. Dokumentasi Cloudflare tentang rute alternatif, misalnya, menunjukkan langkah yang berhasil. Prinsip pentingnya bukan menyalin kebijakan penyedia, melainkan menyimpan bukti untuk setiap upaya saat rute berubah.
Terapkan empat pemeriksaan sebelum mengulang permintaan
Kode status saja bukan kebijakan percobaan ulang. Periksa:
- Kelas kegagalan: sementara, permanen, disebabkan pemanggil, atau hasil akhirnya tidak jelas?
- Fase respons: terjadi sebelum header, sebelum keluaran efektif, atau sesudah keluaran terkirim?
- Idempotensi: dapatkah seluruh operasi diulang tanpa menggandakan efek eksternal?
- Anggaran upaya: apakah waktu nyata dan jatah upaya yang tersisa masih cukup?
Strategi percobaan ulang Google Cloud membuat dua pembedaan dasar yang sama untuk API umum: respons menunjukkan apakah percobaan ulang mungkin berguna dan idempotensi menentukan keamanannya. Kesalahan 408, 429, 5xx, waktu tunggu socket yang habis, dan koneksi terputus sering bersifat sementara, tetapi operasi non-idempoten memerlukan syarat lebih ketat.
Dalam alur kerja AI, idempotensi melampaui permintaan HTTP ke model. Prompt yang dikirim ulang dapat kembali mengusulkan email, pengembalian dana, penerapan, atau penulisan basis data yang sama. Setiap eksekusi alat memerlukan kunci idempotensi yang stabil dan hasil yang disimpan, sekalipun inferensi hanya membaca data.
Mulai dari matriks kegagalan
Matriks ini merupakan kebijakan aplikasi yang konservatif. Gateway dapat beralih secara internal ke saluran lain dengan kontrak yang sama sebelum aplikasi menerima hasil akhir, jadi koordinasikan kedua lapisan.
| Kegagalan atau fase | Percobaan ulang di rute yang sama | Rute alternatif dengan kontrak yang sama | Berhenti atau investigasi | Alasan |
|---|---|---|---|---|
| Kesalahan validasi klien, kolom yang tidak didukung, atau permintaan yang salah format | Tidak | Tidak | Perbaiki permintaan | Kontrak tidak valid yang sama tidak akan berhasil saat diulang |
| Kesalahan autentikasi, otorisasi, kuota, atau penolakan kebijakan gateway | Tidak | Tidak | Perbaiki akun atau kebijakan | Rute penyedia lain tidak boleh melewati keputusan gateway |
| Kegagalan kredensial atau akun penyedia sebelum keluaran | Tidak pada rute yang gagal | Ya, dengan saluran terverifikasi | Isolasi dan investigasi saluran | Kontrak tetap sama saat kredensial bermasalah dikeluarkan |
Kegagalan jaringan atau 408 sebelum keluaran |
Maksimal satu upaya terbatas jika idempoten | Ya | Berhenti pada tenggat | Mungkin sementara, tetapi hasil setelah koneksi terputus dapat tidak jelas |
429 sebelum keluaran |
Percobaan ulang tertunda mengikuti Retry-After |
Ya, jika rute setara memiliki kapasitas | Berhenti saat anggaran habis | Pengulangan langsung memperburuk pembatasan permintaan |
500, 502, 503, 504 sebelum keluaran |
Terbatas dengan jeda yang meningkat | Ya | Investigasi kegagalan berulang | Biasanya sementara, tetapi bukan bukti bahwa semua rute aman |
| Respons penyedia tidak sesuai skema sebelum keluaran ke penerima | Biasanya tidak | Hanya ke rute yang sudah diuji dengan skema yang sama | Isolasi atau periksa kompatibilitas | Implementasi yang tidak kompatibel jarang membaik dengan pengulangan |
| Penolakan model atau respons yang sesuai kebijakan keselamatan | Tidak | Tidak | Kembalikan hasil | Penolakan yang valid bukan kegagalan infrastruktur |
Pembatalan oleh pemanggil atau 499 di sisi penerima |
Tidak | Tidak | Berhenti segera | Pemanggil tidak lagi memerlukan pekerjaan |
| Aliran parsial setelah konten atau argumen alat terlihat | Tanpa pengulangan transparan | Tanpa pengalihan rute transparan | Tandai parsial; aplikasi memutuskan | Aliran kedua dapat menduplikasi atau bertentangan dengan keluaran yang sudah dikirim |
| Status efek eksternal alat tidak diketahui | Tidak sebelum rekonsiliasi | Tidak sebelum rekonsiliasi | Periksa catatan idempotensi atau sistem target | Inferensi ulang dapat mengusulkan efek eksternal yang sama |
503 sebelum keluaran berbeda dari koneksi yang putus setelah 400 token terlihat.
Perlakukan awal aliran sebagai batas komitmen
Sebelum keluaran ke penerima dimulai, gateway dapat membuang upaya yang gagal dan memilih rute lain tanpa menampilkan dua jawaban. Setelah byte bermakna pertama, pengulangan transparan menjadi tidak aman.
Memulai ulang aliran dapat:
- mengulang awal jawaban;
- menghasilkan kelanjutan berbeda;
- mengirim panggilan fungsi ganda dengan ID panggilan baru;
- mengubah penggunaan dan biaya tanpa batas yang jelas;
- membuat klien tidak dapat memasangkan setiap kejadian dengan upayanya.
Jika aliran terputus setelah keluaran dimulai, kembalikan kesalahan hasil parsial atau transportasi dengan ID permintaan asli. Aplikasi dapat menawarkan “coba lagi” secara eksplisit, melanjutkan dari titik pemeriksaan yang aman, atau membuang keluaran parsial. Jangan menyambung aliran model baru ke aliran lama seolah tidak ada kegagalan.
Untuk pemanggilan fungsi, simpan ID panggilan alat yang diterima dan hasil efek eksternalnya sebelum percobaan ulang dapat membuat ulang panggilan. Perbandingan format pemanggilan fungsi menjelaskan hubungan antara ID panggilan dan idempotensi aplikasi.
Batasi jeda berdasarkan jumlah upaya dan waktu total
Jeda eksponensial menyebar upaya sepanjang waktu; variasi acak mencegah banyak klien mengulang serempak setelah gangguan bersama.
delay_cap = min(max_delay, base_delay * 2^retry_index)
sleep_for = random_between(0, delay_cap)
Ikuti Retry-After yang valid jika masih muat dalam tenggat. Jeda bukan izin untuk mengulang: pemeriksaan kegagalan dan idempotensi harus lolos lebih dahulu.
Tetapkan anggaran total, bukan hanya penghitung:
- maksimum upaya per tindakan pengguna;
- maksimum waktu berlalu, termasuk antrean dan jeda;
- batas upaya sebelum dan sesudah memilih grup alternatif;
- waktu minimum untuk menghasilkan jawaban berguna;
- penerusan pembatalan pemanggil ke semua upaya aktif.
Untuk permintaan interaktif dengan tenggat 15 detik, tiga upaya yang masing-masing berdurasi 10 detik bukan kebijakan yang dapat dijalankan. Beban kerja kelompok dapat memakai anggaran lebih panjang, tetapi tetap membutuhkan tenggat akhir dan ID tugas yang persisten.
Cegah penguatan percobaan ulang antarlapisan
Jika SDK mencoba tiga kali, gateway menguji tiga rute untuk setiap permintaan, dan proksi penyedia melakukan dua panggilan per rute:
3 percobaan klien × 3 percobaan gateway × 2 percobaan ke penyedia = 18 panggilan ke penyedia
Satu tindakan pengguna menjadi 18 panggilan penyedia. Saat terjadi gangguan, antrean, pembatasan permintaan, biaya, dan waktu pemulihan meningkat.
Bagikan tanggung jawab percobaan ulang:
- gateway menangani pengalihan langsung ke saluran lain dengan kontrak yang sama;
- aplikasi memutuskan apakah seluruh tindakan pengguna boleh diulang;
- percobaan ulang otomatis SDK dimatikan atau dibatasi jika gateway sudah mencoba;
- tugas asinkron memakai satu ID tugas persisten dan buku catatan upaya;
- tidak ada lapisan yang memulai upaya setelah pemanggil membatalkan permintaan.
Catat nomor upaya pada lapisan tersebut dan ID permintaan ujung ke ujung yang stabil. Tanpanya, setiap komponen terlihat hanya mencoba dua atau tiga kali sementara penguatan total tersembunyi.
Verifikasi bahwa rute alternatif menjaga kontrak
Nama model publik yang sama tidak membuktikan perilaku rute yang sama. Sebelum menambahkan saluran ke kumpulan rute alternatif transparan, minta bukti:
| Area kontrak | Bukti yang dibutuhkan |
|---|---|
| Identitas model | Model yang diminta tersedia tanpa pemetaan diam-diam ke model lain |
| Endpoint | Permintaan Responses atau Chat Completions diterima sesuai konfigurasi |
| Aliran data | Jenis kejadian, penghentian, penggunaan, dan pembatalan bekerja |
| Keluaran terstruktur | Subset JSON Schema yang diperlukan dan mode ketat bekerja |
| Pemanggilan fungsi | Alat, ID panggilan, aliran argumen, dan hasil dapat dikirim bolak-balik |
| Batas | Konteks, keluaran, laju, dan konkurensi sesuai dengan beban kerja |
| Kesalahan | Status dan badan kesalahan dapat diklasifikasikan tanpa membocorkan rahasia |
| Penggunaan dan biaya | Token, kolom cache, tingkat layanan, dan kebijakan harga sudah dipahami |
| Keamanan dan wilayah | Kebijakan, jalur data, dan persyaratan lokasi penyimpanan tetap sesuai |
Jika satu persyaratan gagal, rute itu bukan alternatif transparan untuk beban kerja tersebut. Rute masih dapat digunakan dalam kebijakan produk lain yang dinyatakan secara jelas.
Mengubah model selalu merupakan keputusan produk. Tetapkan model yang diizinkan, kualitas minimum, harga maksimum, kontrak alat, dan pemberitahuan yang terlihat oleh pengguna. Jangan diam-diam memilih model yang lebih murah atau kurang mampu hanya karena terjadi kesalahan rute.
Pahami cara Modelflare mengalihkan rute
Modelflare mencari jalur yang memenuhi syarat untuk model yang diminta klien API. Kunci API biasa memiliki grup utama dan dapat memiliki grup alternatif berurutan. Kunci API pintar mengevaluasi grup yang tersedia sesuai strategi peruteannya. Keduanya tidak boleh mengganti model yang diminta secara diam-diam.
Penerimaan RPM pada tingkat grup terjadi sebelum penagihan dan permintaan ke penyedia. Jika grup penuh, grup alternatif berurutan atau kandidat perutean pintar dapat dievaluasi; tanpa grup yang memenuhi syarat, permintaan mengembalikan 429.
Di dalam grup, prioritas saluran menentukan urutan pengalihan akun. Setelah terjadi kesalahan penyedia, saluran yang gagal dikeluarkan dan seleksi berlanjut. Pengalihan saluran saat ini tidak bergantung pada RetryTimes atau AutomaticRetryStatusCodes; proses berhenti saat berhasil, rute habis, pemanggil membatalkan permintaan, atau keluaran ke penerima sudah dimulai.
Keputusan internal tentang jalur untuk model yang sama ini bukan izin bagi klien untuk membuat perulangan tanpa batas. Gunakan Perutean API AI yang andal untuk desain grup dan saluran serta Pemecahan masalah kesalahan API AI untuk membedakan kesalahan kebijakan gateway dari kegagalan penyedia.
Simpan bukti setiap upaya
200 akhir tidak membuktikan rute pertama berhasil. ID saluran terakhir juga tidak menjelaskan upaya yang gagal. Simpan setidaknya:
- ID permintaan stabil dan ID korelasi yang terlihat oleh pemanggil;
- urutan upaya dan referensi grup/saluran;
- model dan kontrak endpoint tiap upaya;
- status kegagalan, kelas kesalahan, dan fase aliran;
- apakah keluaran ke penerima sudah dimulai;
- penanda waktu dan status pembatalan;
- penggunaan token masukan, keluaran, dan cache jika tersedia;
- atribusi biaya tiap upaya yang selesai atau dapat ditagih;
- alasan akhir: berhasil, rute habis, dibatalkan, hasil parsial, atau dihentikan oleh kebijakan.
Jangan menyimpan kunci API, prompt mentah, respons mentah, atau kredensial penyedia hanya untuk mendiagnosis pengalihan rute. Kelas kesalahan yang sudah dibersihkan dan metadata waktu biasanya cukup; arsip permintaan harus dibatasi, berumur pendek, dan diaktifkan secara eksplisit.
Latih kebijakan sebelum menerima lalu lintas produksi
Gunakan batas protokol yang sebenarnya dengan masukan yang aman dan deterministik:
- nonaktifkan saluran utama sebelum header dan periksa jalur berikutnya untuk model yang sama;
- kembalikan kesalahan pembatasan permintaan dan verifikasi batas upaya serta
Retry-After; - batalkan panggilan dan buktikan bahwa tidak ada upaya baru;
- putuskan aliran setelah keluaran dan cegah pengulangan transparan;
- kirim permintaan yang tidak valid dan pastikan pengalihan rute tidak menyembunyikannya;
- ulangi alur kerja alat dan buktikan hanya ada satu efek eksternal;
- habiskan semua rute dan verifikasi satu kesalahan akhir yang jelas;
- periksa buku catatan upaya lalu rekonsiliasi penggunaan dan biaya.
Terapkan lebih dahulu pada beban kerja kecil. Pantau jumlah upaya, tingkat keberhasilan setelah pengalihan, dan tingkat keberhasilan mentah secara terpisah serta sediakan cara cepat untuk menghapus rute yang bermasalah. Tujuannya bukan memaksimalkan pengalihan rute, melainkan pulih dengan aman dalam tenggat terbatas sambil menjaga kontrak model dan bukti setiap upaya.