라우팅

선호 설정

provider 필드는 한 요청의 실행 선택 규칙을 설정합니다. 특정 내부 경로에 대한 약속이 아니라 정책으로 다루세요.

필수 속성이 있는 작업에서는 알리지 않고 품질을 낮추는 대신 관련 매개변수를 명시적으로 요구하세요.

{
  "model": "openai/gpt-5.6-sol",
  "messages": [{"role": "user", "content": "Classify this support ticket."}],
  "provider": {
    "order": ["provider-a", "provider-b"],
    "allow_fallbacks": true,
    "require_parameters": true
  }
}

유용한 제약 조건

• order는 허용된 옵션의 우선순위를 설정합니다.
• allow_fallbacks는 요청을 대체 옵션으로 이동할 수 있는지 정의합니다.
• require_parameters를 사용하면 선언된 계약을 충족할 수 없는 경로를 거부할 수 있습니다.

관측 가능성

선택한 모델, 타이밍, 상태 및 비용을 자체 추적 정보에 보관하세요. 응답에 없는 내부 라우팅 세부 정보를 사용자에게 사실인 것처럼 표시하지 마세요.

옵션을 모두 사용한 경우 예측 가능한 방식으로 응답하세요. 원래 원인을 반환하고 호환 구성으로 재시도할 수 있게 제안하세요.