Grokking — Zustände des Modells Welche Zustände das Netz durchläuft und was den Übergang auslöst · Doppelklick auf Plateau, Schwellenwert oder Gegrokkt für Details Fitten Weight Decay viele Schritte ja noch nicht kein Druck Initialisiert Train ≈ Val ≈ Zufall Memorisiert Train 100 % · Val niedrig Plateau Schaltung formt sich Schwellenwert? Generalisierung günstiger Gegrokkt Val ≈ 100 % Dauer-Overfitting ohne Regularisierung
Grokking — Zustände des Modells Welche Zustände das Netz durchläuft und was den Übergang auslöst · Doppelklick auf Plateau, Schwellenwert oder Gegrokkt für Details Fitten Weight Decay viele Schritte ja noch nicht kein Druck Initialisiert Train ≈ Val ≈ Zufall Memorisiert Train 100 % · Val niedrig Plateau Schaltung formt sich Schwellenwert? Generalisierung günstiger Gegrokkt Val ≈ 100 % Dauer-Overfitting ohne Regularisierung
maierzone Publisher

LLM-Training · Vereinfacht

Grokking — Zustände des Modells

Welche Zustände das Netz durchläuft und was den Übergang auslöst · Doppelklick auf Plateau, Schwellenwert oder Gegrokkt für Details