Inference Serving
| Tool | Stärke | Hardware |
|---|---|---|
| vLLM | PagedAttention, Continuous Batching | Nvidia GPU |
| TGI (HuggingFace) | einfach, viele Modelle | Nvidia GPU |
| Triton (NVIDIA) | Enterprise, multi‑model | Nvidia |
| llama.cpp | CPU + Apple Silicon | jedes Notebook |
| Ollama | Wrapper über llama.cpp | Mac/Linux Desktop |
| SGLang | komplexe Generation Patterns | GPU |
| Modal / Replicate | Serverless Hosting | Cloud |
Performance‑Hebel:
- Continuous Batching: Requests laufen parallel — Throughput ×10.
- KV‑Cache Reuse: gleicher System‑Prompt → Cache wiederverwenden.
- Quantisierung: AWQ, GPTQ, fp8 → 2–4× Speed bei minimalem Verlust.
- Speculative Decoding: kleines Draft‑Modell schlägt Tokens vor, großes verifiziert.
Zurück zu Künstliche Intelligenz