अधिकांश LLM ट्रैफ़िक में दोहराव होता है। एक chatbot हर turn पर वही system prompt फिर से भेजता है, और एक agent अपनी tool definitions और अब तक की पूरी conversation फिर से भेजता है। Prompt caching से model उस दोहराए गए prefix को cache से पढ़ सकता है, और cached input पर सामान्य input rate का केवल एक अंश शुल्क लिया जाता है। यह guide बताती है कि GetVibe API पर यह कैसे काम करता है और आप इसका अधिकतम लाभ कैसे उठा सकते हैं।
Cached input के लिए आपको कितना भुगतान करना होता है
हमारे catalog में मौजूद हर text model अपनी cache terms सूचीबद्ध करता है। https://getvibeapi.com/api/catalog में हर model variant में ये शामिल होते हैं:
cachedInputUsd: प्रति 1M cached input tokens की कीमत।cacheReadMult: सामान्य input price के अंश के रूप में cached price।cacheWriteMult: cache में लिखने का शुल्क सामान्य input के सापेक्ष।
लेखन के समय, लगभग हर text model में cacheReadMult: 0.1 सूचीबद्ध है, यानी cached input token की लागत सामान्य token की लागत का दसवाँ हिस्सा है, और cacheWriteMult: 1 है। एकमात्र अपवाद Claude Fable 5.1 है, जिसमें reads के लिए 0.025 और writes के लिए 1.25 है। ये मान बदल सकते हैं, इसलिए इन्हें hard-code करने के बजाय catalog या हर model page से पढ़ें।
| Model | Price (input · output) |
|---|---|
| Claude Opus 5.5 | $0.1067 इनपुट · $0.5334 आउटपुट प्रति 10 लाख टोकन |
| GPT-6 Sol | $0.1096 इनपुट · $0.548 आउटपुट प्रति 10 लाख टोकन |
| DeepSeek V4.1 Flash | $0.0112 इनपुट · $0.0445 आउटपुट प्रति 10 लाख टोकन |
Model pages इन संख्याओं के साथ cached-input price भी सूचीबद्ध करते हैं।
OpenAI models: automatic
/v1/chat/completions पर OpenAI-family models अपने आप cache होते हैं। जब कई requests एक ही stable prefix से शुरू होती हैं, तो वह prefix cache से पढ़ा जाता है। आपको किसी विशेष field की आवश्यकता नहीं है। महत्वपूर्ण यह है कि request का आरंभ न बदले। हम request body को fields का क्रम बदले बिना byte for byte pass through करते हैं, इसलिए आपकी ओर से identical prefix upstream भी identical रहता है।
Claude: cache_control breakpoints
Claude केवल तभी cache करता है जब request में explicit cache_control breakpoint मौजूद हो। केवल prefix दोहराने से caching शुरू नहीं होती। Breakpoint को उस हिस्से के अंत में रखें जो बदलता नहीं है:
curl https://getvibeapi.com/v1/messages \
-H "x-api-key: $GETVIBE_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{
"model": "claude-opus-5.5",
"max_tokens": 256,
"system": [
{"type": "text", "text": "A large fixed instruction worth caching...",
"cache_control": {"type": "ephemeral"}}
],
"messages": [{"role": "user", "content": "निर्देश के बारे में प्रश्न"}]
}'यदि आप स्वयं breakpoint नहीं भेजते हैं, तो gateway आपके लिए /v1/messages और /v1/chat/completions दोनों पर एक breakpoint जोड़ देता है। यदि आप breakpoints स्वयं manage करते हैं, तो आपका markup जैसा है वैसा ही रखा जाता है।
Cacheable prompt के लिए पाँच नियम
- Stable content पहले, variable content बाद में। System prompt, tool definitions और reference documents सबसे ऊपर रखें। User का नया message अंत में रखें।
- Prefix में timestamps या request IDs न रखें। ऊपर की ओर बदलने वाला एक character उसके बाद के पूरे हिस्से को invalid कर देता है।
- Tool definitions को fixed order में रखें। Unordered map से tools list generate करने पर हर call में prefix बदल जाता है।
- History को append करें, rewrite नहीं। पहले के turns को summarize या reorder करने वाले agents cache तोड़ देते हैं। नए turns को अंत में जोड़ें।
- एक ही model पर बने रहें। Cache किसी model से जुड़ा होता है, इसलिए conversation के बीच model बदलने पर cache cold से शुरू होता है।
जाँचें कि यह काम कर रहा है
Response में मौजूद usage object देखें। OpenAI format में cached tokens prompt_tokens_details.cached_tokens के अंतर्गत दिखाई देते हैं। Anthropic format में cache_read_input_tokens और cache_creation_input_tokens देखें। आपके dashboard का usage view भी हर model के लिए cache-hit share दिखाता है। यदि identical requests में cached count लगातार zero रहता है, तो आपके prefix में कुछ बदल रहा है।
अगले कदम
caching documentation पढ़ें, Claude Code को custom endpoint पर set up करें (agents को caching से सबसे अधिक लाभ मिलता है), या Models page पर cached prices की तुलना करें।