Grokking — der Mechanismus Warum Generalisierung sich am Ende durchsetzt Gradient schwach stetiger Druck wird bevorzugt Cleanup Phasenübergang Train-Loss fast null Daten sind memorisiert Weight Decay drückt Gewichtsnormen Generalisierende Schaltung kleinere Norm, gleicher Fit Memorisierung abgebaut teure Lookup-Gewichte schrumpfen Val-Accuracy springt kritischer Schwellenwert Grokking-Dynamik Effizienz schlägt Auswendiglernen ◂ Übersicht
Grokking — der Mechanismus Warum Generalisierung sich am Ende durchsetzt Gradient schwach stetiger Druck wird bevorzugt Cleanup Phasenübergang Train-Loss fast null Daten sind memorisiert Weight Decay drückt Gewichtsnormen Generalisierende Schaltung kleinere Norm, gleicher Fit Memorisierung abgebaut teure Lookup-Gewichte schrumpfen Val-Accuracy springt kritischer Schwellenwert Grokking-Dynamik Effizienz schlägt Auswendiglernen ◂ Übersicht
maierzone Publisher

LLM-Training · Vereinfacht

Grokking — der Mechanismus

Warum Generalisierung sich am Ende durchsetzt