Prompt-Caching erklärt: Einsparungen mit GetVibe messen

Coding-Agenten und Multi-Turn-Assistenten senden häufig denselben System-Prompt, dieselben Tool-Definitionen und denselben Gesprächspräfix erneut. Caching kann diese wiederholten Input-Tokens günstiger machen, allerdings nur, wenn Modell, Endpunkt und Anfrageformat dies unterstützen. Generierte Ausgaben werden dadurch nicht günstiger, und ähnlicher Text reicht nicht aus, wenn sich der Cache-Schlüssel ändert. Dieser Leitfaden trennt den automatischen Pfad im OpenAI-Stil vom expliziten Breakpoint-Verhalten von Claude.

Was ändert sich auf der Rechnung?

Ein Cache-Read wird zum Cache-Input-Tarif statt zum regulären Input-Tarif abgerechnet. Der GetVibe-Modellkatalog veröffentlicht die Cache-Unterstützung und Cache-Preise zusammen mit den Modellpreisen. Im am 3. Oktober 2026 geprüften Katalog-Snapshot gehören $0.0055 Eingabe · $0.0274 Ausgabe pro 1 Mio. Tokens für GPT-6 Luna und $0.168 Eingabe · $0.84 Ausgabe pro 1 Mio. Tokens für Claude Sonnet 5.5 zu den Beispielen. Diese Preiswerte werden aus den aktuellen Modellseiten übernommen. Prüfen Sie dort auch die Cache-Details. Gehen Sie nicht davon aus, dass jedes Modell denselben Multiplikator oder dieselbe Schreibstrategie verwendet.

Eine einfache Schätzung für einen wiederholten Präfix lautet: wiederholte Input-Tokens multipliziert mit dem normalen Input-Tarif im Vergleich zu wiederholten Input-Tokens multipliziert mit dem Cache-Read-Tarif. Die Differenz entspricht der möglichen Einsparung bei den Inputs. Ziehen Sie etwaige Cache-Write-Kosten ab, falls das Modell solche berechnet. Für ein gemessenes Ergebnis benötigen Sie die tatsächlich erfasste Nutzung Ihrer Anfragen.

OpenAI-kompatible Modelle: Halten Sie den Präfix stabil

Bei unterstützten Routen der OpenAI-Familie erfolgt das Caching automatisch. Bei einer normalen Chat-Completions-Anfrage müssen Sie kein Cache-Control-Feld hinzufügen. Der wiederholte Anfang muss unverändert bleiben. Platzieren Sie Systemanweisungen, stabile Beispiele und Tool-Definitionen vor benutzerspezifischen Werten. Vermeiden Sie Zeitstempel, zufällige IDs oder anfragebezogene Feature-Flags am Anfang. Halten Sie die Reihenfolge der Tools deterministisch.

Schreiben Sie frühere Gesprächs-Turns beim Fortsetzen einer Agent-Sitzung nicht um, wenn Sie erwarten, dass derselbe Präfix übereinstimmt. Hängen Sie neue Turns an. Beim Wechsel des Modells wird ein anderer Modell-Cache verwendet. Eine Anfrage kann gültig sein und trotzdem keine gecachten Tokens melden, weil der Präfix unter dem Cache-Schwellenwert des Modells liegt oder der Cache abgelaufen ist.

Claude: Breakpoints und der Messages-Endpunkt

Das Caching von Claude verwendet Cache-Control-Breakpoints. Die GetVibe-Integration kann bei unterstützten Claude-Anfragen einen Breakpoint einfügen, wenn keiner vorhanden ist. Wenn Sie Breakpoints selbst verwalten, prüfen Sie die aktuelle Caching-Dokumentation und platzieren Sie die Markierung in einem stabilen Abschnitt. Claude Code verwendet den Anthropic-Messages-Endpunkt. Der Integrationsleitfaden für Claude Code beschreibt die Basis-URL und die Zugangsdaten.

curl https://getvibeapi.com/v1/messages \
  -H "x-api-key: $GETVIBE_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-sonnet-5.5",
    "max_tokens": 300,
    "system": [{"type":"text","text":"Stable instructions shared by every request."}],
    "messages": [{"role":"user","content":"A request-specific question."}]
  }'

Dieses Beispiel zeigt einen stabilen Systemabschnitt und eine sich ändernde Benutzernachricht. Verwenden Sie die aktuelle Dokumentation für das genaue von Ihrem Client und Modell unterstützte Breakpoint-Feld.

Überprüfen Sie einen Cache-Hit, statt ihn anzunehmen

Senden Sie denselben langen Präfix zweimal und ändern Sie nur ein kurzes Suffix. Prüfen Sie die Nutzung in der Antwort. Antworten im OpenAI-Format melden gecachte Inputs unter prompt_tokens_details.cached_tokens; Antworten im Anthropic-Format stellen Felder für Cache-Reads und Cache-Erstellung bereit. Die Seite zur Kontonutzung kann ebenfalls Caching-Informationen anzeigen. Wenn diese Zähler bei null bleiben, prüfen Sie die Gleichheit des Präfixes, die für das Caching erforderliche Mindestlänge, die Modellunterstützung und ob Sie die ausgewählte Route geändert haben.

Verwenden Sie ein ausreichend großes Beispiel, um den Cache-Schwellenwert des Modells zu überschreiten. Ein einzeiliger System-Prompt führt möglicherweise zu keinem sichtbaren Unterschied. Vergleichen Sie mehrere wiederholte Aufrufe, da Cache-Lebensdauer und Anfrageplanung beeinflussen, ob ein Präfix weiterhin im Cache vorhanden ist.

Ein praktischer Test für Einsparungen

1. Wählen Sie einen realen Prompt mit einem umfangreichen wiederverwendbaren Präfix.
2. Erfassen Sie die gewöhnliche Input-Nutzung und die aktuellen Tarife auf der Modellseite.
3. Wiederholen Sie ihn und ändern Sie nur das Benutzer-Suffix.
4. Bestätigen Sie, dass die Antwort gecachte Inputs meldet.
5. Vergleichen Sie die Ledger-Kosten für die wiederholten Anfragen.

Halten Sie die Ausgabelänge während des Experiments ähnlich, damit die Ausgabekosten die Änderung bei den Inputs nicht überdecken. Behaupten Sie keine Einsparungen allein aufgrund eines Cache-Multiplikators. Überprüfen Sie die Anzahl der Cache-Hits und die abgerechnete Nutzung.

Häufige Cache-Misses

• Vor den stabilen Anweisungen steht ein Zeitstempel oder eine Anfrage-ID.
• Tool-Definitionen werden bei jeder Anfrage in einer anderen Reihenfolge serialisiert.
• Die Anwendung ändert Leerzeichen oder kürzt den Verlauf bei jeder Anfrage anders.
• Das Modell wechselt zwischen den Turns.
• Der Präfix ist zu kurz oder das Cache-Fenster ist abgelaufen.

Wenn Caching funktioniert, können lange Agent-Gespräche kostengünstiger werden. Es ist jedoch kein Grund, unnötigen Repository-Kontext zu senden. Halten Sie Prompts fokussiert und bewerten Sie die Gesamtkosten der Aufgabe. Für detailliertere Informationen zu den Endpunkten lesen Sie den Leitfaden zur Caching-Implementierung und die aktuelle Preisseite des Modells.