Deployment & Monitoring
Hosting-Optionen
| Variante | Use Case | Beispiel |
|---|---|---|
| Serverless Function | Geringer Traffic, Skalierung 0→viel | Vercel, Cloudflare Workers |
| Container (Docker) | Mittel-große Apps, eigene DB | Hetzner, Railway, Fly.io |
| Managed Platform | Eigenes UI für KI-Apps | Streamlit Cloud, Hugging Face Spaces |
| Self-Hosted LLM | Datenschutz-kritisch | Ollama + eigene GPU |
Sicherheit
- API-Keys: NIEMALS im Frontend! Nur Server-Side. .env, Secret Manager.
- Rate-Limiting: Pro Nutzer und global. Sonst kostet ein Miss-User schnell tausende Euro.
- Prompt-Injection: User-Input nicht direkt in System-Prompt einfügen. Mit Anführungszeichen einrahmen, Schadensbegrenzung.
- PII (Personal Data): Vor dem Senden an externe APIs anonymisieren.
- Output-Filtering: Hate Speech, Injektionen ausgehend prüfen.
Monitoring
- Token-Verbrauch: Pro Nutzer, pro Endpoint. Tools: LangSmith, Helicone, Phoenix.
- Latenz: p50, p95, p99 — wichtig für UX.
- Hallucination-Rate: Stichproben + Eval-Pipelines.
- User-Feedback: Daumen hoch/runter direkt im Interface.
Erste Lektion ohne SchmerzSetze HARTES Spending-Limit beim Provider (OpenAI, Anthropic). 100 € im Monat ist ein guter Start. Erst dann Rate-Limits in deiner App. So schläfst du gut.