ทำเครื่องหมายบริบทที่คงที่
แคชเฉพาะส่วนที่ใช้ซ้ำ ได้แก่ กฎระบบ เอกสารที่เปลี่ยนแปลงไม่ได้ หรือข้อมูลอ้างอิงขนาดยาว ส่วนคำถามของผู้ใช้และข้อมูลที่เปลี่ยนแปลงต้องแยกไว้
เครื่องหมาย cache_control เป็นการแสดงความต้องการตามสัญญาที่เข้ากันได้ ตรวจสอบการรองรับในแค็ตตาล็อกของโมเดลที่เลือกก่อนเปิดให้ใช้การเพิ่มประสิทธิภาพนี้
เครื่องหมายบริบทที่ใช้ซ้ำได้
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}ทำให้แคชเดิมใช้ไม่ได้อย่างตั้งใจ
- เปลี่ยนเวอร์ชันบริบทเมื่อกฎหรือเนื้อหาต้นฉบับเปลี่ยน
- อย่าใส่ข้อมูลลับหรือสิทธิ์ระยะสั้นไว้ในบล็อกที่ใช้ซ้ำได้
- เก็บแฮชหรือเวอร์ชันของแหล่งข้อมูลที่แคชได้ไว้ในการติดตามของคุณเอง
ตรวจสอบผลกระทบ
วัดเวลาแฝงและการใช้งานบนคำขอที่เทียบเคียงกันได้และมีบริบทเดียวกัน
อย่าอนุมานต้นทุนจากการตอบกลับเพียงครั้งเดียว การแคชขึ้นอยู่กับโมเดล ขนาดบริบท และอายุคำขอ