summaryrefslogtreecommitdiffstats
path: root/statistik/Leipzig/README.txt
blob: 428ab908b30594b0548fabdb10a205864bed35ef (plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
== häufigste*.txt ==
Die Dateien basieren auf der von der Uni Leipzig erstellten Liste der 10000
häufigsten Wörter (bzw. Wortformen) der deutschen Sprache¹.
Groß- und Kleinschreibung sowie Sonderzeichen (Bindestriche, Leerzeichen,
Apostrophe, Buchstaben mit Akzenten, Zahlen, …) wurden ignoriert.
Gemäß des Zipfschen Gesetzes² wurden die Häufigkeiten der Wörter annähernd
rekonstruiert (a=0,83).

Anschließend wurden die Häufigkeiten des Auftreten einzelner Buchstaben sowie
Bi- und Trigramme mit den Zipf-Wahrscheinlichkeiten gewichtet, aufsummiert,
sortiert und auf 100% renormiert.

Somit verstehen sich die Zeilen in allen Dateien als relative Häufigkeit und Name
des Mono/Bi/Trigramms.


¹ http://wortschatz.uni-leipzig.de/html/wliste.html
  Die Uni Leipzig weist jedoch selbst darauf hin, dass die Reihenfolge von der
  Auswahl der Quelle abhängt
² http://de.wikipedia.org/wiki/Zipfsches_Gesetz
  Dabei treten Fehler sowohl bei den häufigsten Wörtern auf, deren berechnete
  Häufigkeit zu hoch liegt, als auch bei den seltenen Wörtern, da bereits die
  häufigsten 10000 Wörter auf 100% gesetzt werden.