提示词缓存
支持的模型上的提示词缓存:重复的前缀会从缓存中读取,成本远低于完整输入。对于 Claude,使用 cache_control 断点;在 /v1/messages 上,网关会为你添加这些断点。curl 示例。
提示词缓存可节省重复请求前缀(系统指令、历史记录、工具描述)的费用。对于支持的模型,重复的前缀从缓存中读取,价格比普通输入低得多,通常约为完整价格的几十个百分点。每个变体的缓存支持情况显示在 Models页面上。
兼容 OpenAI 的路径
在 OpenAI 系列的 /v1/chat/completions 个模型中,缓存会自动启用:重复请求中相同的稳定前缀会从缓存读取。不需要特殊字段,关键是不要更改请求的开头。因此,请求正文会逐字节传递到端点,不会重新排列字段。
Claude: cache_control
Claude 的工作方式不同:只有当请求正文中存在显式的 cache_control 断点时,它才会缓存 仅相关内容 — 仅重复前缀本身不会启用缓存。请将此类断点放在未更改部分的末尾(system 或最后一个块):
curl https://getvibeapi.com/v1/messages \
-H "x-api-key: $GETVIBE_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{
"model": "claude-opus-5.5",
"max_tokens": 256,
"system": [
{
"type": "text",
"text": "A large fixed instruction worth caching…",
"cache_control": { "type": "ephemeral" }
}
],
"messages": [{"role": "user", "content": "Question about the instruction"}]
}'/v1/messages 还是在 /v1/chat/completions 上都是如此。如果由你自行管理缓存,你的标记将保持不变。Claude 代理:提供原生端点
对于 Claude,我们支持原生 Anthropic 格式 — /v1/messages,并使用 x-api-key 标头。这正是 Claude Code 和 Anthropic SDK 使用的格式:请求体会原样发送到上游,不会从 OpenAI 格式进行转换,因此缓存断点以及响应中的 cache_creation / cache_read 字段都能完整保留。
这是一项测量结果,而不是承诺:在 2026-08-21,某个代理会话通过 claude-opus-5 使用 /v1/messages — 119 个请求、15M 个输入 token — 从缓存中读取了其输入内容的 91.6%。你实际获得的缓存量始终会显示在响应 usage 中,以及控制台的请求统计信息中。