Prompt caching

Prompt caching menghemat permintaan berulang pada awalan (instruksi sistem, riwayat, deskripsi alat). Untuk model yang mendukung, awalan berulang dibaca dari cache jauh lebih murah daripada input normal — sekitar puluhan persen dari harga penuh. Dukungan cache untuk setiap varian ditampilkan di halaman Models.

Pada model /v1/chat/completions keluarga OpenAI, cache berjalan otomatis: prefiks stabil yang identik pada permintaan berulang dibaca dari cache. Tidak ada field khusus yang dibutuhkan — yang utama adalah jangan mengubah bagian awal permintaan. Itulah sebabnya body dikirim ke endpoint byte for byte, tanpa mengubah urutan field.

Claude bekerja berbeda: ia meng-cache hanya bila ada breakpoint cache_control eksplisit di dalam body — mengulang prefiks tidak dengan sendirinya mengaktifkan caching. Letakkan breakpoint tersebut di akhir bagian yang tidak berubah (system atau blok terakhir):

curl https://getvibeapi.com/v1/messages \
  -H "x-api-key: $GETVIBE_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-opus-5.5",
    "max_tokens": 256,
    "system": [
      {
        "type": "text",
        "text": "A large fixed instruction worth caching…",
        "cache_control": { "type": "ephemeral" }
      }
    ],
    "messages": [{"role": "user", "content": "Question about the instruction"}]
  }'

Untuk Claude kami mendukung format native Anthropic — /v1/messages dengan header x-api-key. Inilah yang digunakan Claude Code dan Anthropic SDK: body dikirim ke upstream apa adanya, tanpa penerjemahan dari bentuk OpenAI, sehingga cache breakpoint maupun field cache_creation / cache_read dalam respons tetap utuh.

Itu adalah pengukuran, bukan janji: pada 2026-08-21 sebuah sesi agen di claude-opus-5 melalui /v1/messages — 119 permintaan, 15 juta token masukan — membaca 91,6% dari masukannya dari cache. Berapa banyak cache yang sebenarnya Anda dapatkan selalu terlihat pada usage respons dan pada statistik permintaan di dasbor Anda.