タミル語のすべての文字エンコーディング

タミル全文字エンコーディング（TACE16 ）は、ユニコードの私的使用領域でタミル文字をエンコードするためのスキームであり、ユニコードの既存のタミル実装で使用されている修正ISCIIモデルとは異なる音節ベースの文字モデルを実装しています。[1] [2]

キーボードドライバーとフォント

このエンコード方式のキーボード ドライバーは、タミル バーチャル アカデミーのWeb サイトから無料で入手できます。[3] [4]このドライバーは、タミル ナドゥ州政府によって承認されたタミル 99およびタミル タイプライターのキーボード レイアウトを使用し、入力キーを TACE16 方式の対応する文字にマッピングします。[2] TACE16 を使用して作成されたファイルを読み取るために、対応する Unicode タミル フォントも同じ Web サイトから入手できます。[3] [4]これらのフォントは、TACE16 形式の文字のグリフをマッピングするだけでなく、ASCII 文字とタミル文字の両方のUnicode ブロックにもマッピングするため、タミル Unicode ブロックを使用して作成された既存のファイルを読み取るための下位互換性が確保されます。

文字セット

このエンコード方式のすべての文字は、Unicodeのユニバーサル コード化文字セットの基本多言語面の私的使用領域に配置されています。

タミル語全文字エンコーディング（TACE16）文字セット[5]
母音→∅あĀ私私あなたŪEĒ愛おオーオー（その他）
子音
↓		_0_1_2_3_4_5_6_7_8_9_A_B_C_D_E_F
（記号）U+E10_௳௴௵௶௷௸௹௺○●★ராஜௐ
（数字）U+E18_௦௧௨௩௪௫௬௭௮௯௰௱௲
（分数）U+E1A_𑿌𑿐𑿑𑿓𑿅𑿉𑿎𑿄𑿈𑿋𑿍𑿏𑿀𑿁𑿂𑿆
∅U+E1F_்ாிீுூெேைொோௌ
∅U+E20_அஆஇஈஉஊஎஏஐஒஓஔஃ
KU+E21_க்ககாகிகீகுகூகெகேகைகொகோகௌ
ンU+E22_ங்ஙஙாஙிஙீஙுஙூஙெஙேஙைஙொஙோஙௌ
CU+E23_ச்சசாசிசீசுசூசெசேசைசொசோசௌ
ÑU+E24_ஞ்ஞஞாஞிஞீஞுஞூஞெஞேஞைஞொஞோஞௌ
ṬU+E25_ட்டடாடிடீடுடூடெடேடைடொடோடௌ
ṆU+E26_ண்ணணாணிணீணுணூணெணேணைணொணோணௌ
TU+E27_த்ததாதிதீதுதூதெதேதைதொதோதௌ
北U+E28_ந்நநாநிநீநுநூநெநேநைநொநோநௌ
PU+E29_ப்பபாபிபீபுபூபெபேபைபொபோபௌ
MU+E2A_ம்மமாமிமீமுமூமெமேமைமொமோமௌ
はいU+E2B_ய்யயாயியீயுயூயெயேயையொயோயௌ
RU+E2C_ர்ரராரிரீருரூரெரேரைரொரோரௌ
LU+E2D_ல்லலாலிலீலுலூலெலேலைலொலோலௌ
VU+E2E_வ்வவாவிவீவுவூவெவேவைவொவோவௌ
ḺU+E2F_ழ்ழழாழிழீழுழூழெழேழைழொழோழௌ
ḶU+E30_ள்ளளாளிளீளுளூளெளேளைளொளோளௌ
ṞU+E31_ற்றறாறிறீறுறூறெறேறைறொறோறௌ
ṈU+E32_ன்னனானினீனுனூனெனேனைனொனோனௌ
グランサのキャラクター
JU+E33_ஜ்ஜஜாஜிஜீஜுஜூஜெஜேஜைஜொஜோஜௌ
シュU+E34_ஶ்ஶஶாஶிஶீஶுஶூஶெஶேஶைஶொஶோஶௌ
ṢU+E35_ஷ்ஷஷாஷிஷீஷுஷூஷெஷேஷைஷொஷோஷௌ
SU+E36_ஸ்ஸஸாஸிஸீஸுஸூஸெஸேஸைஸொஸோஸௌ
HU+E37_ஹ்ஹஹாஹிஹீஹுஹூஹெஹேஹைஹொஹோஹௌ
クシュU+E38_க்ஷ்க்ஷக்ஷாக்ஷிக்ஷீக்ஷுக்ஷூக்ஷெக்ஷேக்ஷைக்ஷொக்ஷோக்ஷௌஶ்ரீ
伝説：
不規則なグリフを持つ音節文字は、本質的にフォントによって個別に処理される必要があります。[a]
新しく追加されました。Unicode バージョン 6.3 には存在しません。
タミル語補足ブロックの文字に対応し、Unicodeバージョン12（2019）で追加された。
研究用に割り当て（NLP）

TACE16と現在のタミル語Unicodeの比較

タミル語の標準Unicode文字モデルに対する批判

デーヴァナーガリー文字、タミル文字、カンナダ文字、シンハラ文字、絵文字の Unicode エンコード モデルでは、非表示のゼロ幅結合文字とゼロ幅非結合文字を使用する必要があります。

タミル語の既存のUnicode文字モデルは、インド系Unicodeのほとんどの文字モデルと同様に、[b] ISCIIから派生したabugidaベースのモデルです。これはいくつかの理由から批判されてきました。[1]

Unicode は、247 の書記素クラスターのうち、31 のタミル語基本文字のみを単一のコード ポイントとして表します。これらには、スタンドアロンの母音と 23 の基本的な子音グリフ (ヴィラマを持たないため、単独で使用した場合、子音と母音の両方を持つ音節を示します) が含まれます。その他はコード ポイントのシーケンスとして表され、正しくレンダリングするには高度なタイポグラフィ機能 ( Apple Advanced Typography、Graphite、OpenType advanced typographyなど) のソフトウェア サポートが必要です。また、これにより、目的の書記素クラスターがあいまいになる場所で、非表示のゼロ幅結合文字とゼロ幅非結合文字を使用する必要があります。この複雑さにより、セキュリティ上の脆弱性やあいまいな組み合わせが生じる可能性があり、コード ポイントの無効な組み合わせを禁止するために例外テーブルの使用が必要になる場合があり、 2 つの文字列が等しいかどうかを比較するために文字列の正規化を使用する必要がある場合もあります。

さらに、子音と母音の両方を含む音節がタミル語テキストの 64 ～ 70% を占めるため、子音と母音の部分を別々のコード ポイントとしてエンコードするアブギダ ベースのモデルは、音節ベースのモデルと比較して、特定のテキストを格納するために必要な文字列の長さの点で非効率的です。

さらに、ISCII は主にデーヴァナーガリー文字のエンコードであり、他のブラーフミー文字(タミル語を含む)の ISCII エンコードは、デーヴァナーガリー ISCII の対応する文字のコード ポイントで文字をエンコードします。Unicode はブラーフミー文字を互いに別々にエンコードしますが、タミル語ブロックは ISCII レイアウト (デーヴァナーガリー文字スタイルの文字順序、およびタミル語に同等のものがないデーヴァナーガリー文字に対応する位置に予約されたスペース) を反映しています。その結果、文字は自然なシーケンス順序にはならず、コード ポイントで照合された文字列(英語テキストの " ASCIIbetical " ソートに類似) は期待されるソート順序を生成しません。自然な順序に並べるには複雑な照合アルゴリズムが必要です。

TACE16との比較

以下のデータは、電子政府とブラウジングに関する現在のUnicodeタミル語とTACE16の比較を示しています。[1] [より良い情報源が必要]

  • TACE16 は、データ保存に関して Unicode タミル語よりも約 5.46 ～ 11.94 パーセント効率的です[説明が必要]。
  • TACE16 は、インデックス データのソートにおいて、Unicode タミル語よりも約 18.69 ～ 22.99 パーセント効率的です。
  • TACE16は、データ全体がタミル語の場合、Unicodeタミル語と比較して約25.39%効率的です。TACE16のコード空間値を使用する際のデフォルトの照合順序（バイナリ）は、タミル語辞書の順序とは異なります。
  • TACE16 は、Unicode タミル語と比較して、ソートが約 0.31 ～ 16.96 パーセント高速です。
  • TACE16 データのインデックス作成は、Unicode よりも 36.7% 高速です。
  • インデックス付きフィールドのフルキー検索では、TACE16はUnicodeタミル語よりも最大24.07%優れたパフォーマンスを発揮します。インデックスなしフィールドの場合、TACE16はUnicodeタミル語よりも最大20.9%優れたパフォーマンスを発揮します。
  • 静的タミル語データのレンダリングは TACE16 で機能します。

TACE16は、処理時間と処理空間の性能向上を実現します。タミル語の一般的なテキスト全体を網羅し、シーケンシャルで、かつ明確な表現で、どのポイントも1文字のみに対応します。[1] [より適切な出典が必要] TACE16システムは、Unicodeタミル語よりも命令サイクル数が少なく、タミル語文法に基づくプログラミングも可能です[要説明]。これはUnicodeタミル語における追加のフレームワーク開発を必要とします。

Unicodeコンソーシアムによる回答

Unicodeコンソーシアムは、タミル文字に関する専用のFAQページを公開し、いくつかの批判に回答しています。コンソーシアムはISCIIモデルを擁護し、その開発には専門の言語学者、タイポグラファー、プログラマーが関わったと述べていますが、ISCIIがシングルバイト拡張ASCIIに制限されていたために妥協があったことも認めています。コンソーシアムは、現在ではすべての主要なオペレーティングシステムとウェブブラウザでUnicodeタミルが実装されていると指摘し、検索エンジンなどのツールは必ずしもUnicode私用コードポイントのシーケンスをタミルテキストとして識別または解釈できるとは限らないため、オンラインなどのオープンな交換コンテキストで使用すべきだと主張しています。ただし、コンソーシアムは、TACE16などの私的使用領域スキームを、それが有用な特定のプロセスの内部で使用することには反対していません。特に、マークアップスキームと代替エンコードスキームの両方が、自然言語処理などの特殊な目的のために研究者によって使用される可能性があることを強調しています。[6]

Unicodeは、複数のコードポイントのシーケンスで表されるすべてのタミル語純粋子音および音節に対して、規範的な名前付きシーケンスを定義しており、Unicode標準の一部として、これらのシーケンスすべてを従来の順序で、正しいグリフとともにリストした専用の表が公開されています。コンソーシアムは、既存のUnicode表現が存在しない文字の提案も積極的に受け入れてきたと指摘しています。例えば、 2019年のバージョン12.0では、歴史的な分数やその他の記号をタミル語補足ブロックとして追加しました。[6]

照合順序に関して、コンソーシアムは、コードポイントによるソートで正しい結果が得られるのは例外であり、規則ではないと主張している。これは、ASCIIコードの順序を変更しないままでは、大文字のラテン文字Z が小文字のaよりも前にソートされること、また照合規則が言語によって異なることが多いこと（öなど）を強調している。スペース効率に関して、コンソーシアムは、テキストが占めるストレージスペースと帯域幅は、画像や動画などの付随メディアによって大幅に削減されること、そしてテキストコンテンツは、Deflate（元々はZIPファイル形式に由来し、RFC 1951で標準化され、汎用エンコード方式としてHTTPプロトコルに統合されている）などの汎用圧縮方式で良好に機能すると主張している。[6]

Unicode安定性ポリシー

Unicodeが最初に公開されたとき（バージョン1.0.0）、安定性の保証は限定的でした。そのため、元のチベット語ブロックはバージョン1.0.1で削除され（その後、その領域はミャンマー語ブロックに置き換えられました）、元の韓国語音節ブロックはバージョン2.0で削除されました（現在はCJK統合漢字拡張Aに置き換えられています）。現在の韓国語音節ブロック（ハングル音節ブロック）と現在のチベット語ブロックは、どちらもUnicode 2.0に遡ります。これは、これらの表記体系でUnicodeを使用した既存のコンテンツがほとんど存在しない、あるいは全く存在しないという前提に基づいて行われました。[7]これは、これらの表記体系の既存のUnicodeコンテンツおよび入力メソッドとの互換性を損なうためです。いわゆる「韓国語の混乱」の後、担当委員会は、このような互換性を損なう変更を二度と行わないことを誓約しました。[7]これは現在、Unicode安定性ポリシーの一部となっています。[8]

この安定性政策は、中国と北朝鮮からそれぞれチベット語と韓国語の文字モデルの再エンコードまたは変更を求める要求があったにもかかわらず、それ以来一貫して維持されてきました。[9] [10] [11] [12]同様にタミル語に関しても、コンソーシアムは「既存の実装における標準の安定性を維持するという重要な問題」を強調し、「標準を不安定化させることによって生じるコストと影響」は、処理速度やストレージ容量といった効率性の向上によるメリットを大幅に上回ると主張しています。[6]

タミル語を再エンコードする提案[13]があったが、ユニコードによって拒否された。再エンコードは有害であり、ユニコードのタミル語エンコードに欠陥があるという説得力のある証拠はないと述べた。[14]

代替案

オープンタミル

Open-Tamilプロジェクト[15]は、多くの一般的な操作を提供しています。TACE16を使用せずにタミル語テキスト処理のレベル1準拠を主張していますが、Unicodeタミル語に必要な追加のプログラミングロジックに基づいて記述されています。

参照

脚注

  1. ^ U 列と Ū 列で強調表示されている音節文字は、グリフの母音部分が、Unicode ブロック チャートの母音記号の組み合わせで示されている単純な下結合形式にも、右結合の Grantha 形式 (たとえば、Noto フォントで母音記号を単独で組み合わせる場合に使用) にも一致しないものです。
  2. ^ ただし、異なるモデルを使用するチベット語と、 TIS-620から派生したモデルを使用するタイ語および関連文字を除く。

参考文献

  1. ^ abcd TACE16タスクフォースの最終勧告に関する報告書(PDF) (レポート).
  2. ^ ab 「16ビットエンコーディング（UnicodeおよびTACE16）用のタミルフォントおよびタミルキーボードドライバーの開発に関する入札書類」（PDF）。タミルバーチャルアカデミー。
  3. ^ ab "தமிழ் எழுத்துருக்கள்".タミルバーチャルアカデミー。
  4. ^ ab タミル・ナードゥ州政府の命令（GO）、キーボードドライバーとフォント 2023年12月27日アーカイブarchive.today
  5. ^ タミルバーチャルアカデミー. 「付録4：UnicodeおよびTACE16用タイプライター拡張キーボードシーケンス」（PDF） . 16ビットエンコーディング（UnicodeおよびTACE16）用タミルフォントおよびタミルキーボードドライバーの開発に関する入札書類.チェンナイ.
  6. ^ abcd 「FAQ - タミル語と文字」。Unicodeコンソーシアム。
  7. ^ ab Yergeau, F. (1998). UTF-8, ISO 10646の変換フォーマット. IETF . doi : 10.17487/rfc2279 . RFC 2279.
  8. ^ 「Unicode文字エンコーディング安定性ポリシー」。Unicodeコンソーシアム。
  9. ^ West, Andrew (2006年9月14日). 「Precomposed Tibetan Part 1 : BrdaRten」. BabelStone .
  10. ^ 中国国家機関 (2003年10月20日). 「中国のBrdaRtenに関するアドホック声明」. ISO/IEC JTC1/SC2 /WG2 N2674.
  11. ^ Karlsson, Kent (2000-03-02). 「朝鮮語文字に関する北朝鮮の新作業項目提案に対するコメント」ISO/IEC JTC1/SC2 /WG2 N2167.
  12. ^ Cho, Chun-Hui (2000-07-05). 「10646-1: 2000における文字名と順序に関する朝鮮民主主義人民共和国の書簡」(PDF) . ISO/IEC JTC1/SC2 /WG2 N2231.
  13. ^ アナンタム、ARAmaithi (2012-01-26)。 「新しいエンコーディングの提案」(PDF)。ユニコード。
  14. ^ 「非承認通知アーカイブ」. Unicode . 2012年3月5日.
  15. ^ Annamalai, M.; Arulalan, T., Open-Tamil: Python v3用のタミル語テキスト処理ツール、 2023年12月31日取得
Retrieved from "https://en.wikipedia.org/w/index.php?title=Tamil_All_Character_Encoding&oldid=1292220720"