Cost Control
OpenAI‑API ist günstig — bis dein User pro Frage 50k Tokens schickt. Dann wird's teuer. Drei Strategien:
1. Modell‑Hierarchie:
- Einfache Anfragen → Haiku/Mini (1 € / 1M Tokens).
- Komplex → Sonnet/4o (15 € / 1M Tokens).
- Spezialfall → Opus/o1 (75+ € / 1M Tokens).
- Klassifikator entscheidet vorab.
2. Caching:
- Prompt Caching (Anthropic, OpenAI): 90 % Rabatt auf wiederholte System‑Prompts.
- Semantic Cache: ähnliche Frage → bereits berechnete Antwort wiederverwenden.
- Result Cache für deterministische Tools.
3. Token‑Hygiene:
- System‑Prompts knapp halten.
- Output‑Länge per
max_tokensbegrenzen. - JSON‑Mode statt freiem Text.
- Lange Dokumente vorher zusammenfassen statt komplett mitschicken.
Zurück zu Künstliche Intelligenz