Кэширование промптов

Кэширование промптов на поддерживаемых моделях: повторяющийся префикс читается из кэша гораздо дешевле, чем полный ввод. Для Claude — контрольные точки cache_control; на /v1/messages шлюз добавляет их за вас. Примеры curl.

Кэширование промптов экономит на повторяющемся префиксе запроса (системная инструкция, история, описания инструментов). Для поддерживающих моделей повторяющийся префикс читается из кэша гораздо дешевле обычного ввода — порядка десятков процентов от полной цены. Поддержка кэша для каждого варианта показана на странице Модели.

Путь, совместимый с OpenAI

На моделях /v1/chat/completions семейства OpenAI кеширование работает автоматически: при повторных запросах одинаковый стабильный префикс читается из кеша. Специальные поля не нужны — главное не менять начало запроса. Именно поэтому тело передаётся на эндпоинт байт в байт, без переупорядочивания полей.

Claude: cache_control

Claude работает иначе: он кэширует только при наличии явных точек останова cache_control в теле запроса — повторение префикса само по себе не включает кэширование. Поставьте такую точку останова в конце неизменяемой части (system или последнего блока):

curl https://getvibeapi.com/v1/messages \
  -H "x-api-key: $GETVIBE_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-opus-5.5",
    "max_tokens": 256,
    "system": [
      {
        "type": "text",
        "text": "A large fixed instruction worth caching…",
        "cache_control": { "type": "ephemeral" }
      }
    ],
    "messages": [{"role": "user", "content": "Question about the instruction"}]
  }'

Если вы не передаёте собственный breakpoint, шлюз вставляет его за вас — и в /v1/messages, и в /v1/chat/completions. Если вы управляете кэшем сами, ваша разметка остаётся как есть.

Агенты Claude: есть нативный endpoint

Для Claude мы поддерживаем нативный формат Anthropic — /v1/messages с заголовком x-api-key. Именно его используют Claude Code и Anthropic SDK: тело запроса уходит вверх по потоку как есть, без преобразования из формата OpenAI, поэтому сохраняются и точки кэширования, и поля cache_creation / cache_read в ответе.

Это измерение, а не обещание: 2026-08-21 сессия агента на claude-opus-5 через /v1/messages — 119 запросов, 15M входных токенов — прочитала 91.6% своего ввода из кэша. Сколько кэша вы реально получаете, всегда видно в ответе usage и в статистике запросов в вашей панели управления.

← НазадМаршрутизация и лимиты Далее →Ошибки и лимиты