Aktivierungsfunktionen — die Nichtlinearität
Ohne nichtlineare Aktivierung wäre ein neuronales Netz nur eine lineare Abbildung — egal wie tief. Aktivierungen machen das Netz mächtig.
| Funktion | Formel | Output | Wann? |
|---|---|---|---|
| Sigmoid | 1/(1+e⁻ˣ) | (0, 1) | Binäre Klassifikation Output |
| Tanh | (eˣ-e⁻ˣ)/(eˣ+e⁻ˣ) | (-1, 1) | Klassisch RNN, heute selten |
| ReLU | max(0, x) | [0, ∞) | Standard für Hidden Layers |
| Leaky ReLU | max(0.01x, x) | ℝ | Bei "dying ReLU"-Problem |
| GELU | x·Φ(x) (gauss) | ℝ | In Transformers (BERT, GPT) |
| Softmax | eˣᵢ / Σeˣⱼ | Wahrscheinlichkeitsverteilung | Multi-Class-Output |
ReLU dominiertSeit ca. 2012 ist ReLU Standard für Hidden Layers — schnell, einfach, vermeidet Vanishing Gradient. Modernere Varianten: GELU (in Transformers), SiLU, Mish.