2003-12-25 17:46:30 +04:00
#!/bin/sh
2010-12-28 19:57:23 +01:00
# Copyright (C) 2003 MySQL AB
2014-02-17 18:19:04 +05:30
# Use is subject to license terms
2010-12-28 19:57:23 +01:00
#
# This program is free software; you can redistribute it and/or modify
# it under the terms of the GNU General Public License as published by
# the Free Software Foundation; version 2 of the License.
#
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
# GNU General Public License for more details.
#
# You should have received a copy of the GNU General Public License
# along with this program; if not, write to the Free Software
2013-03-19 15:53:48 +01:00
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA
2010-12-28 19:57:23 +01:00
2003-12-25 17:46:30 +04:00
#< pre >
(
echo "DROP TABLE lang;"
echo "CREATE TABLE lang (lang varchar(128), letters text character set utf8);"
(
grep -v "^#" < < END
#
Greenlandic Á Â Ã Ê Í Î Ô Ú Û á â ã ê í î ô ú û Ĩ ĩ ĸ Ũ ũ
#Use of these letters was abolished in a spelling reform in 1973:
#Greenlandic Å Æ Ø å æ ø
#Characters not found in the UCS:
# K LATIN CAPITAL LETTER KRA
#############################################################
#Basque Ñ Ü ñ ü Ŕ ŕ
#Characters not found in the UCS:
# D LATIN CAPITAL LETTER D WITH MACRON
# d LATIN SMALL LETTER D WITH MACRON
# L LATIN CAPITAL LETTER L WITH MACRON
# l LATIN SMALL LETTER L WITH MACRON
# T LATIN CAPITAL LETTER T WITH MACRON
# t LATIN SMALL LETTER T WITH MACRON
#############################################################
#Maltese #À Á Â È É Ê Ì Í Î Ò Ó Ô Ù Ú Û #à á â è é ê ì í î ò Ó ô ù ú û #Ċ ċ Ġ ġ Ħ ħ Ż ż ʼ
#BosnianCyr Ђ Ј Љ Њ Ћ Џ А Б В Г Д Е Ж З И К Л М Н О П Р С Т У Ф Х Ц Ч Ш а б в г д е ж з и к л м н о п р с т у ф х ц ч ш ђ ј љ њ ћ џ
#Scots A
#Scots1 Ʒ Ȝ ȝ ʒ
###########################################
#### Hiragana 3040-309F
Hiragana ぁ あ ぃ い ぅ う ぇ え ぉ お か が き ぎ く ぐ け げ こ ご さ ざ し じ す ず せ ぜ そ ぞ た だ ち ぢ っ つ づ て で と ど な に ぬ ね の は ば ぱ ひ び ぴ ふ ぶ ぷ へ べ ぺ ほ ぼ ぽ ま み む め も ゃ や ゅ ゆ ょ よ ら り る れ ろ ゎ わ ゐ ゑ を ん
Hiragana1 ゔ ゙ ゚
Hiragana2 ゛ ゜ ゝ ゞ
#### Katakana 30A0-30FF
Katakana ァ ア ィ イ ゥ ウ ェ エ ォ オ カ ガ キ ギ ク グ ケ ゲ コ ゴ サ ザ シ ジ ス ズ セ ゼ ソ ゾ タ ダ チ ヂ ッ ツ ヅ テ デ ト ド ナ ニ ヌ ネ ノ ハ バ パ ヒ ビ ピ フ ブ プ ヘ ベ ペ ホ ボ ポ マ ミ ム メ モ ャ ヤ ュ ユ ョ ヨ ラ リ ル レ ロ ヮ ワ ヰ ヱ ヲ ン ヴ ヵ ヶ
Katakana1 ヷ ヸ ヹ ヺ
Katakana2 ・ ー ヽ ヾ
############################################
Albanian Â Ç Ë â ç ë
Bosnian Ć ć Č č Đ đ Š š Ž ž
Breton Â Ê Ñ Ù Ü â ê ñ ù ü
Catalan À Ç È É Í Ï Ò Ó Ú Ü à ç è é í ï ò ó ú ü
#Catalan1 · Ŀ ŀ
Croatian Ć ć Č č Đ đ Š š Ž ž
CroatianLig DZ Dz dz DŽ Dž dž LJ Lj lj NJ Nj nj
Czech Á É Í Ó Ú Ý á é í ó ú ý Č č Ď ď Ě ě Ň ň Ř ř Š š Ť ť Ů ů Ž ž
Danish Á Ä Å Æ É Ó Ö Ø Ü á ä å æ é ó ö ø ü
Dutch À Â Ä Æ Ç È É Ê Ë Î Ï Ñ Ò Ó Ô Ö Ù Ú Û Ü à â ä æ ç è é ê ë î ï ñ ò ó ô ö ù ú û ü
Esperanto Ĉ ĉ Ĝ ĝ Ĥ ĥ Ĵ ĵ Ŝ ŝ Ŭ ŭ
Estonian Ä Õ Ö Ü ä õ ö ü Š š Ž ž
Faroese Å Æ Ð Ó Ö Ø Ú Ý å æ ð ó ö ø ú ý
Finnish Ä Å Ö Ü ä å ö ü
#Finnish1 Š š Ž ž
French(limited) À Â Æ Ç È É Ê Ë Î Ï Ñ Ô Ù Û à â æ ç è é ê ë î ï ñ ô ù û ÿ
French Œ œ Ÿ
German Ä Ö Ü ß ä ö ü
Hungarian Á É Í Ó Ö Ú Ü á é í ó ö ú ü Ő ő Ű ű
Icelandic Á Æ É Í Ð Ó Ö Ú Ý Þ á æ é í ð ó ö ú ý þ
Italian À È É Ì Í Ï Ò Ó Ù Ú à è é ì í ï ò ó ù ú
#Latin A
Latvian Ā ā Č č Ē ē Ģ ģ Ī ī Ķ ķ Ļ ļ Ņ ņ Š š Ū ū Ž ž
Lithuanian Ą ą Č č Ė ė Ę ę Į į Š š Ū ū Ų ų Ž ž
Norwegian Å Æ Ø å æ ø
Polish Ó ó Ą ą Ć ć Ę ę Ł ł Ń ń Ś ś Ź ź Ż ż
Portuguese À Á Â Ã Ç É Ê Í Ó Ô Õ Ú Ü à á â ã ç é ê í ó ô õ ú ü
#http://en.wikipedia.org/wiki/Special_Romanian_Unicode_characters
Romanian  Πâ î Ă ă Ș ș Ț ț
Romanian(ErrorST) Â Î â î Ă ă Ş ş Ţ ţ
Slovak Á Ä É Í Ó Ô Ú Ý á ä é í ó ô ú ý Č č Ď ď Ĺ ĺ Ľ ľ Ň ň Ŕ ŕ Š š Ť ť Ž ž
Slovene Č č Š š Ž & #x017E
Sorbian-Lower Ć ć Č č Ě ě Ł ł Ń ń Ř ř Ś ś Š š Ź ź Ž ž
Sorbian-Upper Ó ó Ć ć Č č Ě ě Ł ł Ń ń Ř ř Š š Ž ž
Spanish Á É Í Ñ Ó Ú Ü á é í ñ ó ú ü
Swedish Ä Å Ö ä å ö
Turkish Â Ç Ö Û Ü â ç ö û ü Ğ ğ İ ı
Welsh À Á Â Ä È É Ê Ë Ì Í Î Ï Ò Ó Ô Ö Ù Ú Û Ü Ý à á â ä è é ê ë ì í î ï ò ó ô ö ù ú û ü ý ÿ Ŵ ŵ Ŷ ŷ Ÿ Ẁ ẁ Ẃ ẃ Ẅ ẅ Ỳ ỳ
##################################
Belarusian Ё І Ў А Б В Г Д Е Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ы Ь Э Ю Я а б в г д е ж з и й к л м н о п р с т у ф х ц ч ш щ ъ ы ь э ю я ё і ў
Bulgarian А Б В Г Д Е Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ь Ю Я а б в г д е ж з и й к л м н о п р с т у ф х ц ч ш щ ъ ь ю я
Bulgarian1 Ѐ ҭ ѐ ѝ Ѣ ѣ Ѫ ѫ
Macedonian Ѓ Ѕ Ј Љ Њ Ќ Џ А Б В Г Д Е Ж З И К Л М Н О П Р С Т У Ф Х Ц Ч Ш а б в г д е ж з и к л м н о п р с т у ф х ц ч ш ѓ ѕ ј љ њ ќ џ
Russian Ё А Б В Г Д Е Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ы Ь Э Ю Я а б в г д е ж з и й к л м н о п р с т у ф х ц ч ш щ ъ ы ь э ю я ё
RussianOLD І і Ѣ ѣ Ѳ ѳ Ѵ ѵ
Serbian Ђ Ј Љ Њ Ћ Џ А Б В Г Д Е Ж З И К Л М Н О П Р С Т У Ф Х Ц Ч Ш а б в г д е ж з и к л м н о п р с т у ф х ц ч ш ђ ј љ њ ћ џ
Ukrainian Є І Ї А Б В Г Д Е Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ь Э Ю Я а б в г д е ж з и й к л м н о п р с т у ф х ц ч ш щ ь э ю я є і ї Ґ ґ
##################################
Armenian Ա Բ Գ Դ Ե Զ Է Ը Թ Ժ Ի Լ Խ Ծ Կ Ձ Ղ Ճ Մ Յ Ն Շ Ո Չ Պ Ջ Ռ Ս Վ Տ Ց Ւ Փ Ք Օ Ֆ ՛ ՜ ՝ ՞ ՟ ա բ գ դ ե ֆ ։
#Armenian1 ՚ ֊
#Characters not found in the UCS:
# ARMENIAN ETERNITY SIGN
#
GeorgianOld Ⴀ Ⴁ Ⴂ Ⴃ Ⴄ Ⴅ Ⴆ Ⴇ Ⴈ Ⴉ Ⴊ Ⴋ Ⴌ Ⴍ Ⴎ Ⴏ Ⴐ Ⴑ Ⴒ Ⴓ Ⴔ Ⴕ Ⴖ Ⴗ Ⴘ Ⴙ Ⴚ Ⴛ Ⴜ Ⴝ Ⴞ Ⴟ Ⴠ Ⴡ Ⴢ Ⴣ Ⴤ Ⴥ
Georgian ა ბ გ დ ე ვ ზ თ ი კ ლ მ ნ ო პ ჟ რ ს ტ უ ფ ქ ღ ყ შ ჩ ც ძ წ ჭ ხ ჯ ჰ
GeorgianArc ჱ ჲ ჳ ჴ ჵ ჶ
GeorgianPunc ჻
#
GreekExt1 ΄ ΅ Ά · Έ Ή Ί » Ό ½ Ύ Ώ ΐ
Greek Α Β Γ Δ Ε Ζ Η Θ Ι Κ Λ Μ Ν Ξ Ο Π Ρ Σ Τ Υ Φ Χ Ψ Ω α β γ δ ε ζ η θ ι κ λ μ ν ξ ο π ρ σ τ υ φ χ ψ ω
GreekExt2 Ϊ Ϋ ά έ ή ί ΰ ϊ ϋ ό ύ ώ
GreekExt4 ς
#
Hebrew א ב ג ד ה ו ז ח ט י ך כ ל ם מ ן נ ס ע ף פ ץ צ ק ר ש ת
##################################
#Abaza
#Abkhaz
#Adyghe
#Agul *
#(Aisor)
#Akhvakh *
#(?lvdalska)
#(Andi) *
#(Aragonese)
#Archi *
#Arumanian
#(Arvanite)
#Asturian
#Avar
#Azerbaijani
#(Bagulal) *
#Balkar
#Bashkir
#Basque !
#Bats *
#Bezhta *
#(Botlikh) *
#Budukh *
#(Chamalal)
#Chechen
#Chuvash
#Cornish !
#(Corsican)
#Dargwa
#Erzya
#(Franco-Proven?al)
#(Frisian, East)
#(Frisian, North)
#Frisian, West
#Friulian
#Gagauz
#Gaelic, Irish !
#Gaelic, Manx !
#Gaelic, Scottish !
#Galician !
#(German, Low) !
#(German, Swiss) !
#Godoberi *
#(Hinukh) *
#(Hunzib) *
#Ingrian
#Ingush
#Istro-Romanian
#(Judeo-Georgian)
#(Judeo-Kurdish)
#(Judeo-Tati)
#Kabardian
#Kalmyk
#Karachay
#(Karaim)
#(Karata) *
#Karelian
#Kashubian
#Kazakh
#Khinalug
#(Khvarshi) *
#(Kirmanji)
#Komi
#Komi-Permyak
#(Kryts)
#Kumyk
#(Kurdish)
#(Ladin)
#(Ladino)
#Lak
#Laz
#Lezgian
#Livonian
#(Ludian)
#Luxemburgish !
#Mari, Hill
#Mari, Meadow
#Megleno-Romanian
#(Mingrelian)
#Moksha
#Moldavian
#Nenets, Tundra
#Nogai
#Occitan
#Old Church Slavonic
#(Olonets)
#Ossetian
#(Romani)
#Romansch
#(Rusyn)
#Rutul
#Sami, Inari
#Sami, Kildin
#Sami, Lule
#Sami, Northern
#Sami, Skolt
#Sami, Southern
#(Sami, Ter) *
#(Sami, Ume) *
#(Sardinian) *
#Scots !
#Svan
#Tabasaran
#(Talysh)
#Tatar, Crimean
#Tatar, Kazan
#Tati
#(Tindi) *
#(Tsakonian) *
#Tsakhur *
#(Tsez) *
#(Turkish, Crimean)
#Ubykh *
#Udi
#Udmurt
#(V?mhusm?l)
#Vepsian
#Votic
#(Walloon)
#(Yiddish)
################################
# 4 Gaelic-new-orthography
# 4 Frisian
# 3 Rhaeto-Romanic
# 2 S& AACUTEmi-with-restrictions
# 1 Rhjaeto-Romanic
# 1 Gaelic-old-and-new-orthographies
END
) |
while read a b
do
c=`echo $b | replace "& #x" "" ";" ""`
printf "INSERT INTO lang VALUES ('$a',_ucs2 X'$c');\n"
done
) | mysql -f test
#mysql test < < END
#SELECT * FROM lang WHERE CONVERT(letters USING latin1) NOT LIKE _binary'%?%';
#SELECT * FROM lang WHERE CONVERT(letters USING latin2) NOT LIKE _binary'%?%';
#END
list="big5 dec8 cp850 hp8 koi8r latin1 latin2 swe7 ascii ujis sjis hebrew euckr koi8u gb2312 greek cp1250 gbk latin5 armscii8 cp866 keybcs2 macce macroman cp852 latin7 cp1251 cp1256 cp1257 geostd8"
for p in $list
do
echo "-----------------"
echo $p:
mysql -sss test < < END
SELECT lang FROM lang WHERE CONVERT(letters USING $p) NOT LIKE _binary'%?%' ORDER BY lang;
END
done
