Grokking — Weg durch den Fit-Raum x = Train-Accuracy, y = Val-Accuracy. Das Modell parkt lange unten rechts, bevor es nach oben springt VAL HOCH · GENERALISIERT VAL NIEDRIG TRAIN NIEDRIG TRAIN HOCH · MEMORISIERT 1 · Init 2 · Memorisiert 3 · Plateau 4 · Schwellenwert 5 · Gegrokkt (unrealistisch) ◂ Übersicht
Grokking — Weg durch den Fit-Raum x = Train-Accuracy, y = Val-Accuracy. Das Modell parkt lange unten rechts, bevor es nach oben springt VAL HOCH · GENERALISIERT VAL NIEDRIG TRAIN NIEDRIG TRAIN HOCH · MEMORISIERT 1 · Init 2 · Memorisiert 3 · Plateau 4 · Schwellenwert 5 · Gegrokkt (unrealistisch) ◂ Übersicht
maierzone Publisher

LLM-Training · Vereinfacht

Grokking — Weg durch den Fit-Raum

x = Train-Accuracy, y = Val-Accuracy. Das Modell parkt lange unten rechts, bevor es nach oben springt