Tokens — die kleinste Einheit
Token: Die Grundeinheit, mit der ein LLM rechnet. Kein Buchstabe, kein Wort — meist ein Wortteil von 3-6 Zeichen.
Beispiele für Tokenisierung
| Text | Tokens (GPT-Tokenizer) | Anzahl |
|---|---|---|
| "Hallo" | ["H", "allo"] | 2 |
| "ChatGPT" | ["Chat", "G", "PT"] | 3 |
| "Universitätsprofessor" | ["Univers", "ität", "sp", "rofess", "or"] | 5 |
| "the" | ["the"] | 1 |
| "🤖" | ["\xf0", "\x9f", "\xa4", "\x96"] | 4 |
Wichtig zu wissen
- Englisch ist effizienter: ~1.3 Token pro Wort. Deutsch: ~2 Token. Asiatische Sprachen: viel mehr.
- Tokens sind das Pricing: APIs berechnen pro Million Input/Output-Tokens.
- Tokenisierungsalgorithmen: BPE (GPT, Claude), SentencePiece (T5), WordPiece (BERT).
- Faustregel: 1 Token ≈ 0.75 Wörter (Englisch) oder 0.5 Wörter (Deutsch).
Praxis-TippOpenAI hat einen Live-Tokenizer auf platform.openai.com/tokenizer. Prüfe damit deine Prompts vor dem Senden — gerade bei langen Texten oder mehrsprachigen Eingaben.