Grokking — der verzögerte Sprung Train-Accuracy ist früh bei 100 %, Val-Accuracy springt erst nach dem kritischen Schwellenwert. x = log10(Trainingsschritte), y = Accuracy in % 0 20 40 60 80 100 0 1 2 3 4 5 Train-Accuracy Val-Accuracy (Grokking) Gewichtsnorm (relativ) Phasen ▸ Timeline Zustände ▸ State Mechanismus ▸ Loop Fit-Raum ▸ Quadrant
Grokking — der verzögerte Sprung Train-Accuracy ist früh bei 100 %, Val-Accuracy springt erst nach dem kritischen Schwellenwert. x = log10(Trainingsschritte), y = Accuracy in % 0 20 40 60 80 100 0 1 2 3 4 5 Train-Accuracy Val-Accuracy (Grokking) Gewichtsnorm (relativ) Phasen ▸ Timeline Zustände ▸ State Mechanismus ▸ Loop Fit-Raum ▸ Quadrant
maierzone Publisher

LLM-Training · Vereinfacht

Grokking — der verzögerte Sprung

Train-Accuracy ist früh bei 100 %, Val-Accuracy springt erst nach dem kritischen Schwellenwert. x = log10(Trainingsschritte), y = Accuracy in %