Đánh dấu ngữ cảnh ổn định
Chỉ lưu đệm phần lặp lại: quy tắc hệ thống, tài liệu bất biến hoặc tài liệu tham chiếu dài. Câu hỏi của người dùng và dữ liệu thay đổi cần được tách riêng.
Dấu cache_control là một tùy chọn của hợp đồng tương thích. Kiểm tra hỗ trợ trong danh mục mô hình đã chọn trước khi cung cấp tối ưu hóa này.
Dấu ngữ cảnh có thể tái sử dụng
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Chủ động làm mất hiệu lực
- Thay đổi phiên bản ngữ cảnh khi quy tắc hoặc tài liệu nguồn thay đổi.
- Không đưa bí mật hoặc quyền ngắn hạn vào khối có thể tái sử dụng.
- Lưu hàm băm hoặc phiên bản của nguồn có thể lưu đệm trong dấu vết của bạn.
Xác minh tác động
Đo độ trễ và mức sử dụng trên các yêu cầu có thể so sánh với cùng ngữ cảnh.
Không suy ra chi phí từ một phản hồi: việc lưu đệm phụ thuộc vào mô hình, kích thước ngữ cảnh và thời gian tồn tại của yêu cầu.