Đặt tùy chọn
Trường provider đặt quy tắc chọn thực thi cho một yêu cầu. Hãy xem đây là chính sách, không phải lời hứa về một tuyến nội bộ cụ thể.
Với tác vụ có thuộc tính bắt buộc, hãy yêu cầu rõ ràng các tham số liên quan thay vì âm thầm giảm chất lượng.
Tùy chọn định tuyến trong yêu cầu
json
{
"model": "openai/gpt-5.6-sol",
"messages": [{"role": "user", "content": "Classify this support ticket."}],
"provider": {
"order": ["provider-a", "provider-b"],
"allow_fallbacks": true,
"require_parameters": true
}
}Ràng buộc hữu ích
- order đặt thứ tự ưu tiên của các tùy chọn được phép.
- allow_fallbacks xác định liệu yêu cầu có thể chuyển sang phương án thay thế hay không.
- require_parameters giúp từ chối tuyến không thể đáp ứng hợp đồng đã khai báo.
Khả năng quan sát
Lưu mô hình đã chọn, thời gian, trạng thái và chi tiêu trong dấu vết của bạn. Không trình bày chi tiết định tuyến nội bộ cho người dùng như một sự thật khi phản hồi không chứa thông tin đó.
Khi đã hết tùy chọn, hãy phản hồi theo cách có thể dự đoán: trả về nguyên nhân ban đầu và đề nghị thử lại với cấu hình tương thích.