प्रॉम्प्ट कैशिंग

Prompt caching बार-बार आने वाले request prefix (system instruction, history, tool descriptions) पर बचत करता है। समर्थन करने वाले मॉडलों के लिए बार-बार आने वाला prefix cache से सामान्य input की तुलना में कहीं कम कीमत पर पढ़ा जाता है — पूर्ण मूल्य के कुछ दसियों प्रतिशत के क्रम पर। प्रत्येक variant की cache सहायता Models पृष्ठ पर दिखाई जाती है।

OpenAI परिवार के /v1/chat/completions मॉडल्स पर caching स्वतः होती है: बार-बार भेजे गए अनुरोधों में एक समान स्थिर prefix cache से पढ़ा जाता है। किसी विशेष field की ज़रूरत नहीं — मुख्य बात यह है कि अनुरोध की शुरुआत न बदलें। इसीलिए body को endpoint पर byte for byte भेजा जाता है, fields का क्रम बदले बिना।

Claude अलग तरह से काम करता है: यह सिर्फ़ तब cache करता है जब body में explicit cache_control breakpoints हों — prefix दोहराने से caching अपने आप चालू नहीं हो जाती। ऐसा breakpoint unchanged हिस्से के अंत में रखें (system या आख़िरी block):

curl https://getvibeapi.com/v1/messages \
  -H "x-api-key: $GETVIBE_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-opus-5.5",
    "max_tokens": 256,
    "system": [
      {
        "type": "text",
        "text": "A large fixed instruction worth caching…",
        "cache_control": { "type": "ephemeral" }
      }
    ],
    "messages": [{"role": "user", "content": "Question about the instruction"}]
  }'

Claude के लिए हम native Anthropic format का समर्थन करते हैं — x-api-key header के साथ /v1/messages। Claude Code और Anthropic SDK यही इस्तेमाल करते हैं: body जैसा है वैसा ही upstream जाता है, OpenAI shape से कोई translation नहीं होता, इसलिए response में cache breakpoints और cache_creation / cache_read fields दोनों सुरक्षित रहते हैं।

यह एक माप है, कोई वादा नहीं: 2026-08-21 को claude-opus-5 पर /v1/messages के ज़रिए एक agent session — 119 requests, 15M input tokens — ने अपने input का 91.6% cache से पढ़ा। cache आपको वास्तव में कितना मिलता है, यह हमेशा response के usage में और आपके dashboard की request statistics में दिखता है।