Monitoring & Logging
Was du IMMER messen solltest:
- Latenz: p50, p95, p99 — Time‑to‑First‑Token, Time‑to‑Last‑Token.
- Token‑Verbrauch: Input/Output pro Request, pro User, pro Endpoint.
- Error‑Rate: 4xx, 5xx, Tool‑Failures, Halluzinations‑Flags.
- Quality: User‑Feedback (👍/👎), LLM‑Judge‑Score auf Sample.
- Cache Hit Rate: Prompt‑Cache, Semantic‑Cache.
Tools 2026:
- Langfuse: open‑source, Tracing + Eval.
- LangSmith: LangChain‑Stack, hosted.
- Helicone: Proxy‑basiert, drop‑in.
- Arize Phoenix: Embedding‑Drift visualisieren.
- Datadog / New Relic: klassisch + LLM‑Plugins.
Zurück zu Künstliche Intelligenz