Tandai konteks stabil
Simpan dalam cache hanya bagian yang berulang: aturan sistem, dokumentasi yang tidak berubah, atau referensi panjang. Pertanyaan pengguna dan data yang berubah harus tetap terpisah.
Penanda cache_control merupakan preferensi kontrak kompatibel. Periksa dukungannya di katalog model yang dipilih sebelum menawarkan pengoptimalan tersebut.
Penanda konteks yang dapat digunakan kembali
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Batalkan validitas secara terencana
- Ubah versi konteks ketika aturan atau materi sumber berubah.
- Jangan masukkan rahasia atau izin berumur pendek ke dalam blok yang dapat digunakan kembali.
- Catat hash atau versi sumber yang dapat disimpan dalam cache di jejak Anda sendiri.
Verifikasi dampak
Ukur latensi dan penggunaan pada permintaan sebanding dengan konteks yang sama.
Jangan menyimpulkan biaya dari satu respons: penyimpanan cache bergantung pada model, ukuran konteks, dan masa berlaku permintaan.