Kontextfenster & Inferenz
Kontextfenster: Maximale Anzahl Tokens (Input + Output), die ein Modell pro Anfrage verarbeiten kann.
Kontextlängen 2026
| Modell | Kontext (Tokens) | Entspricht ca. |
|---|---|---|
| GPT-3.5 Turbo | 16k | ~12.000 Wörter |
| GPT-4o | 128k | ~96.000 Wörter |
| Claude Sonnet 4.6 | 200k | ~150.000 Wörter |
| Claude Opus 4.7 | 1M | ~750.000 Wörter |
| Gemini 2.5 Pro | 2M | ~1.5 Mio Wörter |
Inferenz — wie kommt die Antwort?
- Tokenisierung: Input-Text wird in Tokens zerlegt.
- Embedding: Tokens werden zu Vektoren.
- Forward Pass: Durch alle Transformer-Schichten.
- Sampling: Wahrscheinlichkeitsverteilung über Vokabular → ein Token gewählt.
- Wiederholung: Token wird angehängt, alles nochmal — bis "stop"-Token oder max_tokens erreicht.
Sampling-Parameter
- Temperature (0-2): Kreativität. 0 = deterministisch, 1 = Standard, 2 = chaotisch.
- Top-p (Nucleus): Nur Tokens, deren kumulierte Wahrscheinlichkeit ≤ p ist. 0.9 = Standard.
- Top-k: Nur die k wahrscheinlichsten Tokens.
- Frequency/Presence Penalty: Bestraft Wiederholungen.
Lost in the MiddleAchtung: LLMs schauen am stärksten auf Anfang und Ende des Kontexts. Information in der Mitte wird oft schlechter beachtet. Wichtige Anweisungen am Anfang ODER am Ende platzieren.