CNN, RNN, Transformer — die großen Architekturen
CNN (Convolutional Neural Network)
- Spezialität: Bilder, räumliche Muster.
- Idee: Filter scannen das Bild — finden Kanten, Texturen, Objekte.
- Beispiele: AlexNet, ResNet, EfficientNet, Vision Transformer.
- Heute: ViTs verdrängen CNNs zunehmend, aber CNNs sind effizienter auf kleinen Daten.
RNN / LSTM (Recurrent Neural Network)
- Spezialität: Sequenzen — Text, Zeitreihen, Sprache.
- Idee: Verarbeitet Token nacheinander, speichert "Erinnerung".
- Problem: Vergisst lange Kontexte — LSTM/GRU helfen, aber nicht perfekt.
- Heute: Größtenteils durch Transformers ersetzt.
Transformer — die Revolution
2017 Paper "Attention is all you need". Statt Recurrent: Self-Attention — jedes Token kann jeden anderen direkt sehen.
- Skaliert massiv — 175 Mrd Parameter (GPT-3) bis Trillions (heute).
- Parallelisierbar — auf Tausenden GPUs trainierbar.
- Lange Kontexte — Claude Opus 4.7 hat 1 Mio Token Kontext.
- Universell — gleiche Architektur für Text, Bild, Audio, Video.
2026-RealitätFast alle modernen KI-Modelle nutzen Transformer-Architektur — LLMs, Image-Models (Diffusion mit Transformer-Backbone), Audio-Models. CNNs und RNNs sind Spezialfälle für ressourcenarme Setups.