Fehler und Limits

Von GetVibe auf /v1/* erzeugte Fehler enthalten einen JSON-Umschlag mit error.message, error.type und error.code. Verlassen Sie sich weder auf den Nachrichtentext noch auf Header von Drittanbieterdiensten als verbindliche Schnittstelle.

{
  "error": {
    "message": "insufficient balance",
    "type": "insufficient_quota",
    "code": 402,
    "request_id": "8d4b6b3a-..."
  }
}

Jeder Anfragefehler enthält einen stabilen error.code aus der folgenden Tabelle, error.param mit dem betreffenden Feld (null, wenn das Modell keines genannt hat) sowie einen Link zur passenden Zeile am Ende von error.message — Codex und andere CLIs zeigen nur die Nachricht an, daher wird der Link dorthin übertragen.

Ein langsamer Stream (stream: true) erhält nach 5 Sekunden ohne Aktivität 200- und : pv-keepalive-Kommentare, damit die Verbindung nicht inaktiv wirkt; eine lange Nicht-Stream-Anfrage erhält nach ihrem ersten Token 200 und Whitespace. Ab diesem Zeitpunkt kann sich der Status nicht mehr ändern, und im Body trifft ein Fehler ein. Wenn Ihr Client bei einem HTTP-Fehler auf einen anderen Anbieter ausweicht, senden Sie x-pv-honest-errors: 1 (oder bitten Sie den Support, dies für das Konto zu aktivieren): Dann gibt es keinen Keepalive und kein vorzeitiges 200 vor dem ersten Antwort-Byte, und jeder Fehler ist ein gewöhnlicher HTTP-Status mit einem JSON-Body. Der Nachteil ist ein stiller Socket bis zum ersten Token; Ihr Header-Timeout muss diesen Zeitraum abdecken.

Ein Fehler, nachdem die Antwort begonnen hat, ist ein einzelnes abschließendes Ereignis: für Chat event: error mit {"error":{message,type,code,status},"choices":[{"finish_reason":"error"}]}, gefolgt von data: [DONE]; für /v1/responses event: response.failed mit demselben error; für /v1/messages mit Anthropics event: error. code ist die maschinenlesbare Ursache und status ist der HTTP-Status, den der Fehler vor Beginn der Antwort gehabt hätte.

Beide Limits hängen vom aktuellen Kontoguthaben ab und gelten gemeinsam für alle API-Schlüssel des Kontos. Der Tarif wird automatisch neu berechnet: Wenn Sie Ihr Guthaben aufladen, steigt das Limit; fällt das Guthaben unter einen Schwellenwert, wird der Tarif herabgestuft. Es gibt kein Limit für Tokens pro Minute (TPM).

Verwenden Sie bei einer wiederholbaren Antwort zuerst Retry-After, sofern vorhanden. Ohne diesen Header dürfen Sie 429 oder 503 nicht automatisch als wiederholbar behandeln: Prüfen Sie den HTTP-Status und den öffentlichen error.type, beheben Sie die nicht wiederholbare Ursache und verwenden Sie begrenztes Backoff nur bei einem vorübergehenden Fehler.

import time, requests

def call_with_retry(url, headers, payload, max_retries=5):
    for attempt in range(max_retries):
        r = requests.post(url, headers=headers, json=payload)
        if r.status_code == 429:
            # honor Retry-After, otherwise exponential backoff
            wait = int(r.headers.get("Retry-After", 2 ** attempt))
            time.sleep(wait)
            continue
        return r
    return r