Der Überdruck Acht Druckgänge Sprachmodell 2017 bis 2026 Vier Auszüge auf einem Bogen
Alles, was seit 2017 dazukam, ist auf denselben Bogen gedruckt worden. Keine Generation hat die vorige ersetzt; sie hat einen Auszug daraufgelegt.
Der Balken unter jedem Token zeigt, wie sicher es gewählt wurde. Blau steht für die Fortsetzung eines angefangenen Wortes: „Vertei“ ist eine Entscheidung, „lung“ fast keine mehr. Deutsche Wörter zerfallen in einem Tokenizer regelmäßig so.
Die Zeichnung darunter zeigt achtmal dasselbe: einen Wahrscheinlichkeitsbaum, links das erste Token, nach rechts alles, was daraus folgen kann. Äste, deren Wahrscheinlichkeit unter die Schwelle fällt, werden nicht weiterverfolgt — genau wie beim Sampling.
Jeder Druckgang ist ein Lauf: eine Generation, die denselben Anfang fortsetzt, in der Farbe der Kraft, die ihr Jahr getrieben hat. Alle acht starten an derselben Wurzel. Wo sie übereinanderliegen, waren sie sich einig; wo eine Farbe allein steht, hat nur ein Lauf diesen Weg genommen. Die frühen Gänge streuen breit, die späten laufen enger.
Drei Größen, an denen sich die Entwicklung ablesen lässt, jede in der Farbe ihrer Kraft.
Jede Zeile ist eine Position im Text, jede Spalte eine, die sie lesen darf. Das obere Dreieck bleibt leer: Wer vorhersagen soll, was kommt, darf es nicht schon gesehen haben.
Zeigen Sie auf eine Zelle, um ihr Gewicht zu lesen.
Auf beiden Achsen logarithmisch wird aus dem Zusammenhang eine Gerade. Das ist die unbequeme Nachricht: Zehnmal mehr Rechenzeit senkt den Verlust um einen festen kleinen Betrag, nicht um das Zehnfache.
Acht Größenordnungen Aufwand für 2,3 Punkte Verlust.
512 Tokens waren 2018 der ganze Horizont: gut eine Seite. Sieben Jahre später liest ein Modell eine Million am Stück. Die Stufen sind echt — der Kontext wächst in Sprüngen, nicht stetig.
Faktor 2000 in sieben Jahren.
Jede Werkschau lässt etwas weg. Diese hier lässt vier Dinge weg, und es ist besser, sie zu benennen, als sie zu verstecken.
Die Parameterkurve endet 2022
Ab da veröffentlicht kaum ein Labor noch Größen. Jede Grafik, die die Kurve weiterzieht, zeichnet Schätzungen. Deshalb steht auf diesem Bogen keine einzige Parameterzahl nach GPT-3.
Der Verlust fällt glatt, das Verhalten nicht
Die Gerade sagt nichts darüber, wann ein Modell anfängt, dreistellig zu addieren oder Ironie zu erkennen. Fähigkeiten erscheinen sprunghaft, und manche verschwinden zwischen zwei Versionen wieder.
Flüssig ist nicht richtig
Ein Modell wählt das wahrscheinlichste nächste Token, nicht das wahre. Diese beiden fallen oft zusammen und manchmal eben nicht — und der Satz klingt in beiden Fällen gleich gut.
Der Bogen wird nicht sauberer
Er wird voller. Jeder Gang bringt neue Fähigkeiten und neue Fehlerarten mit. Die Vorstellung, dass eine Generation die Probleme der vorigen abräumt, hat sich in acht Jahren nicht bestätigt.