Grokking — Phasen des Trainings Von der Memorisierung über das lange Plateau bis zum kritischen Schwellenwert Init Memorisierung: Train → 100 % Plateau: Val niedrig Schaltung wächst verdeckt KRITISCHER SCHWELLENWERT Cleanup Generalisiert: Val → 100 % ◂ Übersicht
Grokking — Phasen des Trainings Von der Memorisierung über das lange Plateau bis zum kritischen Schwellenwert Init Memorisierung: Train → 100 % Plateau: Val niedrig Schaltung wächst verdeckt KRITISCHER SCHWELLENWERT Cleanup Generalisiert: Val → 100 % ◂ Übersicht
maierzone Publisher

LLM-Training · Vereinfacht

Grokking — Phasen des Trainings

Von der Memorisierung über das lange Plateau bis zum kritischen Schwellenwert