Thème
Langue

Mise en cache du prompt

Mise en cache du prompt sur les modèles compatibles : un préfixe répété est lu depuis le cache à un coût bien inférieur à celui de l’entrée complète. Pour Claude, points de rupture cache_control ; sur /v1/messages, la passerelle les ajoute pour vous. Exemples curl.

La mise en cache du prompt permet de réduire le coût d’un préfixe de requête répété (instruction système, historique, descriptions des outils). Pour les modèles compatibles, un préfixe répété est lu depuis le cache à un coût bien inférieur à celui d’une entrée normale, de l’ordre de dizaines de pour cent du prix total. La prise en charge du cache pour chaque variante est indiquée sur la page Models.

Chemin compatible avec OpenAI

Sur /v1/chat/completions modèles de la famille OpenAI, la mise en cache est automatique : un préfixe stable identique lors de requêtes répétées est lu depuis le cache. Aucun champ spécial n’est nécessaire : l’essentiel est de ne pas modifier le début de la requête. C’est pourquoi le corps est transmis à l’endpoint octet par octet, sans réordonner les champs.

Claude: cache_control

Claude fonctionne différemment : il met seulement en cache lorsqu’il existe des points d’arrêt cache_control explicites dans le corps — la répétition du préfixe n’active pas la mise en cache à elle seule. Placez un tel point d’arrêt à la fin de la partie inchangée (le système ou le dernier bloc) :

curl https://getvibeapi.com/v1/messages \
  -H "x-api-key: $GETVIBE_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-opus-5.5",
    "max_tokens": 256,
    "system": [
      {
        "type": "text",
        "text": "A large fixed instruction worth caching…",
        "cache_control": { "type": "ephemeral" }
      }
    ],
    "messages": [{"role": "user", "content": "Question about the instruction"}]
  }'
Si vous ne transmettez pas votre propre point d’arrêt, la passerelle en insère un pour vous, aussi bien sur /v1/messages que sur /v1/chat/completions. Si vous gérez vous-même le cache, votre balisage reste inchangé.

Agents Claude : il existe un point de terminaison natif

Pour Claude, nous prenons en charge le format natif d'Anthropic — /v1/messages avec l'en-tête x-api-key. C'est ce qu'utilisent Claude Code et l'Anthropic SDK : le corps est transmis en amont tel quel, sans traduction depuis la structure OpenAI, de sorte que les points de rupture du cache ainsi que les champs cache_creation / cache_read de la réponse restent intacts.

Il s’agit d’une mesure, pas d’une promesse : le 2026-08-21, une session d’agent sur claude-opus-5 via /v1/messages — 119 requêtes, 15M tokens d’entrée — a lu 91.6% de ses entrées depuis le cache. La quantité de cache dont vous bénéficiez réellement est toujours visible dans la réponse usage et dans les statistiques des requêtes de votre tableau de bord.

Mise en cache des prompts de GetVibe API — cache_control, lectures du cache à faible coût | GetVibe API