Merancang timeout AI API per fase request

Panduan production: Merancang timeout AI API per fase request. Panduan ini memuat artefak deterministik, batas kegagalan, kontrol rollout, dan sumber terverifikasi.

Panduan production: Merancang timeout AI API per fase request. Panduan ini memuat artefak deterministik, batas kegagalan, kontrol rollout, dan sumber terverifikasi.

Keputusan lebih dahulu

Merancang timeout AI API per fase request adalah kontrak production yang eksplisit, bukan perubahan terpisah. Tetapkan sukses, gagal terminal, dan rollback sebelum memindahkan traffic; artefak memisahkan bukti dari asumsi.

Mulai dari connect, buktikan headers dengan kasus deterministik, dan jadikan cancel sebagai release gate.

Artefak yang dapat digunakan ulang

Satu baris hanya lolos bila buktinya berasal dari request, jendela pengujian, atau versi konfigurasi yang sama.

Checkpoint Bukti yang disimpan Syarat lulus
connect DNS,TCP,TLS_budget_and_failure_class Batas eksplisit dan gagal tertutup saat terlampaui.
headers request_sent->response_headers Batas eksplisit dan gagal tertutup saat terlampaui.
first_output headers->first_meaningful_output,separate_from_first_SSE_frame Record menghubungkan request logis dan attempt tertentu.
idle maximum_gap_between_meaningful_stream_events Batas eksplisit dan gagal tertutup saat terlampaui.
total absolute_request_deadline_inherited_by_all_child_work Batas eksplisit dan gagal tertutup saat terlampaui.
cancel client_cancel_reaches_queue,gateway,upstream,and_tool_work Record menghubungkan request logis dan attempt tertentu.

Contoh terhitung

Contoh memakai data sintetis dan deterministik. Ganti dengan nilai workload yang ditinjau; jangan masukkan secret atau data pelanggan.

total_deadline_ms: 60000
phases:
  connect_ms: 3000
  response_headers_ms: 10000
  first_meaningful_output_ms: 25000
  stream_idle_ms: 15000
rules:
  - child_deadline_must_not_exceed_total
  - client_cancel_propagates_immediately
  - timeout_records_phase_and_attempt

Prosedur implementasi

  1. Bekukan request, response, konfigurasi, dan baseline observasi.
  2. Jalankan kasus positif deterministik dan simpan hasil lengkap.
  3. Jalankan kasus negatif atau batas pasangannya.
  4. Hubungkan semua attempt ke satu request ID logis dan catat waktu, status akhir, serta usage tanpa konten sensitif.
  5. Rollout hanya ke kohort terbatas dengan kondisi berhenti.
  6. Baca ulang state persisten dan perilaku publik; rollback bila invariant gagal.

Mode kegagalan

Kegagalan berikut membatalkan hasil meski HTTP luar tampak berhasil:

  • Pembatalan tidak mencapai antrean atau upstream dan tetap memakai kapasitas.
  • Rute diasumsikan menyimpan state tersembunyi.
  • Retry tanpa attempt budget memperbesar beban.
  • Prompt, key, atau argumen sensitif direkam ke telemetri.

Batas Modelflare

Modelflare memusatkan routing kompatibel OpenAI, key, group, usage, dan penanganan gagal, tetapi rute terkonfigurasi bukan bukti semua kemampuan provider. Verifikasi model dan channel lewat protokol native, pertahankan nol eksplisit, dan gunakan settlement persisten sebagai kebenaran billing.

Gunakan panduan induk untuk batas keputusan dan dokumentasi untuk konfigurasi client terkini.

Checklist sebelum publikasi

  • Jawab pertanyaan utama sebelum latar belakang.
  • Tetapkan owner untuk setiap field, state, metric, dan formula.
  • Gunakan identifier sintetis saja.
  • Pertahankan struktur, kode, batas, dan peringatan di semua bahasa.
  • Periksa ulang kontrak, dukungan, dan harga pada T-1; pindahkan tanggal jika fakta berubah.
  • Sebelum waktunya, keluarkan dari public API, rute, dan sitemap.

Sumber dan tanggal verifikasi

Sumber diperiksa pada 2026-08-07 dan tidak membuktikan rute yang belum diuji.