主题
语言

提示词缓存

支持的模型上的提示词缓存:重复的前缀会从缓存中读取,成本远低于完整输入。对于 Claude,使用 cache_control 断点;在 /v1/messages 上,网关会为你添加这些断点。curl 示例。

提示词缓存可节省重复请求前缀(系统指令、历史记录、工具描述)的费用。对于支持的模型,重复的前缀从缓存中读取,价格比普通输入低得多,通常约为完整价格的几十个百分点。每个变体的缓存支持情况显示在 Models页面上。

兼容 OpenAI 的路径

在 OpenAI 系列的 /v1/chat/completions 个模型中,缓存会自动启用:重复请求中相同的稳定前缀会从缓存读取。不需要特殊字段,关键是不要更改请求的开头。因此,请求正文会逐字节传递到端点,不会重新排列字段。

Claude: cache_control

Claude 的工作方式不同:只有当请求正文中存在显式的 cache_control 断点时,它才会缓存 仅相关内容 — 仅重复前缀本身不会启用缓存。请将此类断点放在未更改部分的末尾(system 或最后一个块):

curl https://getvibeapi.com/v1/messages \
  -H "x-api-key: $GETVIBE_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-opus-5.5",
    "max_tokens": 256,
    "system": [
      {
        "type": "text",
        "text": "A large fixed instruction worth caching…",
        "cache_control": { "type": "ephemeral" }
      }
    ],
    "messages": [{"role": "user", "content": "Question about the instruction"}]
  }'
如果你没有传入自己的断点,网关会为你插入一个 断点,无论是在 /v1/messages 还是在 /v1/chat/completions 上都是如此。如果由你自行管理缓存,你的标记将保持不变。

Claude 代理:提供原生端点

对于 Claude,我们支持原生 Anthropic 格式 — /v1/messages,并使用 x-api-key 标头。这正是 Claude Code 和 Anthropic SDK 使用的格式:请求体会原样发送到上游,不会从 OpenAI 格式进行转换,因此缓存断点以及响应中的 cache_creation / cache_read 字段都能完整保留。

这是一项测量结果,而不是承诺:在 2026-08-21,某个代理会话通过 claude-opus-5 使用 /v1/messages — 119 个请求、15M 个输入 token — 从缓存中读取了其输入内容的 91.6%。你实际获得的缓存量始终会显示在响应 usage 中,以及控制台的请求统计信息中。

GetVibe API 提示词缓存 — cache_control、低价缓存读取 | GetVibe API