Tetapkan preferensi
Kolom provider menetapkan aturan pemilihan eksekusi untuk satu permintaan. Perlakukan sebagai kebijakan, bukan janji rute internal tertentu.
Untuk tugas dengan properti wajib, wajibkan parameter yang relevan secara eksplisit alih-alih diam-diam menurunkan kualitas.
Preferensi perutean dalam permintaan
json
{
"model": "openai/gpt-5.6-sol",
"messages": [{"role": "user", "content": "Classify this support ticket."}],
"provider": {
"order": ["provider-a", "provider-b"],
"allow_fallbacks": true,
"require_parameters": true
}
}Batasan yang berguna
- order menetapkan prioritas opsi yang diizinkan.
- allow_fallbacks menentukan apakah permintaan dapat dialihkan ke alternatif.
- require_parameters membantu menolak rute yang tidak dapat memenuhi kontrak yang dinyatakan.
Observabilitas
Simpan model terpilih, waktu, status, dan pengeluaran dalam jejak Anda sendiri. Jangan menyajikan detail perutean internal kepada pengguna sebagai fakta jika detail tersebut tidak ada dalam respons.
Ketika semua opsi habis, berikan respons yang dapat diprediksi: kembalikan penyebab awal dan tawarkan percobaan ulang dengan konfigurasi yang kompatibel.