In jeder natürlichen Sprache kommt das häufigste Wort doppelt so oft vor wie das zweithäufigste, dreimal so oft wie das dritthäufigste. Eine Regel, die niemand vereinbart hat — und die trotzdem überall gilt.
Wörter sind nicht gleich verteilt. Sie sind brutal ungleich verteilt — und zwar jedes Mal nach derselben Kurve.
Sortiere die Wörter eines Textes nach Häufigkeit. Das häufigste bekommt Rang 1, das zweithäufigste Rang 2, und so weiter. Dann trage den Rang gegen die Häufigkeit auf einer doppelt-logarithmischen Achse auf. Was du bekommst, ist keine Wolke, keine Kurve, keine Bimodalität — sondern eine fast gerade Linie. Mit Steigung ungefähr −1. Das ist Zipfs Gesetz.
Ein paar Konsequenzen: die häufigsten ~150 Wörter machen typischerweise die Hälfte aller Tokens eines Textes aus. Gleichzeitig kommt ein erstaunlich großer Anteil aller distinkten Wörter genau einmal vor — die sogenannten Hapax legomena. Das Gesetz gilt nicht nur für Romane, sondern für Stadtgrößen, Einkommensverteilungen, Webseitenaufrufe, Erdbebenstärken und mehr. Man nennt es deshalb auch einfach ein Potenzgesetz.
Füge einen Text ein oder wähle einen aus der Kartei rechts. Die Maschine zählt die Wörter, sortiert sie nach Rang und zeichnet das Häufigkeits-Log-Log-Plot. Die graue Linie ist die ideale Zipf-Kurve f₁/r; die roten Punkte sind deine tatsächlichen Daten.
| Rang | Wort | Count | Zipf-erwartet | Δ |
|---|
Drei kurze, gemeinfreie Ausschnitte aus der Weltliteratur. Die Slope ist in jedem Fall nahe −1 — aber nicht identisch. Sprache, Register, Länge: alles rüttelt ein bisschen an der Kurve.
Das sind die Wörter, die nur ein einziges Mal im Text vorkommen. Sie zu zählen ist wie das Zählen der Sandkörner am Rand einer Düne.
In einem typischen natürlichen Text machen Hapax legomena — griechisch: „einmal Gesagtes" — zwischen 40 und 60 Prozent aller einzigartigen Wörter aus. Das bedeutet: wenn ein Buch 10.000 verschiedene Wörter enthält, tauchen 4.000 bis 6.000 davon genau einmal auf. Sie sind die Randbewohner von Zipfs Kurve — der lange, dünne Schwanz, der nie endet. Je länger der Text, desto mehr Hapax legomena kommen dazu (Heaps' Gesetz). Eine Sprache hat darin ihre eigentliche Tiefe.
Das scheinbare Chaos der Wörter gehorcht einer einzigen, beharrlichen Regel — und sie gilt für alle Sprachen, die wir kennen.— George Kingsley Zipf · Harvard, 1935
Zipfs Gesetz ist keine isolierte Kuriosität. Es sitzt im Herzen einer ganzen Familie von Potenzgesetzen, die überall dort auftreten, wo Systeme aus vielen kleinen, lose gekoppelten Teilen bestehen. Sprachforschung, Ökonomie, Seismologie, Ökologie — sie alle finden dieselbe Kurve.
Der amerikanische Linguist katalogisiert 30.000 Wörter aus Ulysses von James Joyce. Die Verteilung ist so sauber, dass er sie als Gesetz formuliert. Sein Buch The Psycho-Biology of Language (1935) bringt eine ganze Disziplin — Quantitative Linguistik — auf den Weg.
Vor Zipf entdeckt Pareto das gleiche Muster bei Einkommensverteilungen: 20 % der Italiener besitzen 80 % des Vermögens. Das ist derselbe Power Law, nur für Geld statt Wörter. Zipf wird später zeigen: die Ähnlichkeit ist kein Zufall.
Zipfs eigene Erklärung: Sprecher minimieren Aufwand, Hörer minimieren Aufwand — das Gleichgewicht ergibt die schiefe Verteilung. Eine elegante, aber umstrittene Ursachen-Hypothese. Heutige Linguisten neigen zu statistisch-mechanischen Begründungen.
Benoît Mandelbrot zeigt: die reine 1/r-Form ist eine Näherung. Eine bessere Form ist f ≈ C / (r + b)s — die Zipf-Mandelbrot-Verteilung. Sie passt sauberer am Kopf und am Schwanz der Kurve.
Verwandt zum Zipf-Gesetz: die Anzahl unterschiedlicher Wörter wächst mit der Textlänge wie V ≈ K · Nβ, mit β ≈ 0,5. Je länger der Text, desto langsamer kommen neue Wörter hinzu. Bibliothekare kennen den Effekt seit Jahrhunderten.
Manche Statistiker halten die Ausprägung von Zipfs Gesetz für eine Folge der Log-Log-Darstellung — beinahe jeder Zähl-Prozess sieht in dieser Achse gerade aus. Die Debatte läuft noch. Unumstritten ist nur: das Phänomen ist real, und es ist überraschend robust.