blob: 428ab908b30594b0548fabdb10a205864bed35ef (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
== häufigste*.txt ==
Die Dateien basieren auf der von der Uni Leipzig erstellten Liste der 10000
häufigsten Wörter (bzw. Wortformen) der deutschen Sprache¹.
Groß- und Kleinschreibung sowie Sonderzeichen (Bindestriche, Leerzeichen,
Apostrophe, Buchstaben mit Akzenten, Zahlen, …) wurden ignoriert.
Gemäß des Zipfschen Gesetzes² wurden die Häufigkeiten der Wörter annähernd
rekonstruiert (a=0,83).
Anschließend wurden die Häufigkeiten des Auftreten einzelner Buchstaben sowie
Bi- und Trigramme mit den Zipf-Wahrscheinlichkeiten gewichtet, aufsummiert,
sortiert und auf 100% renormiert.
Somit verstehen sich die Zeilen in allen Dateien als relative Häufigkeit und Name
des Mono/Bi/Trigramms.
¹ http://wortschatz.uni-leipzig.de/html/wliste.html
Die Uni Leipzig weist jedoch selbst darauf hin, dass die Reihenfolge von der
Auswahl der Quelle abhängt
² http://de.wikipedia.org/wiki/Zipfsches_Gesetz
Dabei treten Fehler sowohl bei den häufigsten Wörtern auf, deren berechnete
Häufigkeit zu hoch liegt, als auch bei den seltenen Wörtern, da bereits die
häufigsten 10000 Wörter auf 100% gesetzt werden.
|
