構文知識に基づく文字コードの決定

[25] 内容がある程度限定される場合は、それを前提とした検出手法を採用できます。

[56] HTML などでは詳細な算法が仕様上定められています。

[57] それ以外でも発見的な方法が色々実装されています。 HTML などと違って明確な規定がない分野では実装ごとの違いが大きく、相互運用性に問題が生じています。

[1] 構文依存の方法により文字コードを決定する

確率的判定

[2] 任意のテキストデータの文字コードの判定には、文字コードのバイトの範囲や、出現文字の頻度・確率の情報が使われています。

[58] 平成時代中頃までの古典的な方法では、文字符号化によって符号の構造が異なることを利用し、ある文字コード体系で出現する符号かそうでないかという構造的知識を主に使っていました。しかしこの方法単独では符号構造が重複する領域で互いの区別が付きづらく、あまり精度が上げられませんでした。ただ、実装が容易ではあるので、幅広く用いられましたし、現在でも使われることは珍しくありません。

[59] 例えばシフトJISと日本語EUCは第1バイトに使われるバイト、第2バイトに使われるバイトの範囲がそれぞれ違っていますので、その範囲に収まるかによってどちらか判断できることが多いです。しかし完全に重なる部分もあるため、そのような符号ばかりだと正しく判定できません。

[60] また、半角カタカナを利用すると両者の重なる領域が著しく増えるため、誤判定が多くなり、頻繁に半角カタカナの文字化けを目にすることになります。これは半角カタカナが嫌われる大きな要因の1つにもなっていました。

[3] universalchardet は、 Mozilla が Webページの表示のために開発したものです。多くのプラットフォームに移植されて使われています。

[4] 次の符号化に対応しています:

utf-8 utf-16be utf-16le iso-2022-cn big5 x-euc-tw gb18030 hz-gb-2312 iso-2022-jp shift_jis euc-jp iso-2022-kr euc-kr iso-8859-5 koi8-r windows-1251 x-mac-cyrillic ibm866 ibm855 iso-8859-7 tis-620 windows-1253 iso-8859-8 windows-1255 windows-1252

[6] データだけで未実装: iso-8859-2 windows-1250

[5] 特に日本とキリル文字圏では、複数の文字コードが同程度に広く使われていたために自動判定が重宝されていました。

TLD の利用

[39] >>38 : chardetng の TLD と動作モードの関係性

実装

[44] 出現頻度等による実装:

[35] UniversalCharDet の系譜
[36] GitHub - chomechome/charamel: 🌏 Truly Universal Encoding Detection in Python 🌎, 2025-05-19T12:46:16.000Z https://github.com/chomechome/charamel
[37] GitHub - jawah/charset_normalizer: Truly universal encoding detector in pure Python, 2025-05-19T12:51:46.000Z https://github.com/jawah/charset_normalizer
[40] Charset Detection | ICU Documentation, 2025-04-15T18:50:10.000Z, 2025-05-19T13:56:04.594Z https://unicode-org.github.io/icu/userguide/conversion/detection.html
[41] GitHub - hsivonen/shift_or_euc: Detects among the Japanese legacy encodings, 2025-05-19T13:59:56.000Z https://github.com/hsivonen/shift_or_euc
- [62] 日本語系文字コードの判定
[42] GitHub - google/compact_enc_det: compact_enc_det - Compact Encoding Detection, 2025-05-19T14:08:52.000Z https://github.com/google/compact_enc_det/
[45] Encode::Guess::Educated - do something - metacpan.org, 2025-05-20T15:01:04.000Z https://metacpan.org/pod/Encode::Guess::Educated
[81] GitHub - vlm/zip-fix-filename-encoding: Fix cyrillic character encoding of filenames inside zip archives, 2025-05-16T10:03:38.000Z https://github.com/vlm/zip-fix-filename-encoding
- [144] zip-fix-filename-encoding/src/runzip.c at master · vlm/zip-fix-filename-encoding · GitHub, 2025-05-24T14:05:58.000Z https://github.com/vlm/zip-fix-filename-encoding/blob/master/src/runzip.c
- [61] キリル文字系文字コードの判定
[84] Wayback Machine, 2025-06-02T11:58:14.000Z https://web.archive.org/web/20250601053528/https://shoshia.tripod.com/pub/webconv.zip
- [64] GEO-CONV.PL
  - [65] &analyze
    - [66] >>64 はジョージア文字の変換器ですが、その改造元はキリル文字の変換器で、 (おそらく改変されていない)この関数はキリル文字の文字コードを出現頻度で推定するものです。注釈によると Stefan Mashkevich が1998-11-26に開発したものです。 KOI8, DOS866, WIN1251, ISO8859-5, MAC に対応しています。
[67] Universal online Cyrillic decoder - recover your texts, Petko Yotov, 2025-06-04T07:48:52.000Z https://2cyr.com/decode/
[73] Encode::Detect::CJK - A Charset Detector, optimized for EastAsia charset and website content - metacpan.org, 2025-06-25T08:14:27.000Z https://metacpan.org/pod/Encode::Detect::CJK

[54] 符号構造のみによる実装:

[76] LV Homepage (in Japanese), 2025-06-25T14:34:54.000Z, 2001-01-19T05:51:42.277Z https://web.archive.org/web/20010119052900/http://www.mt.cs.keio.ac.jp/person/narita/lv/index_ja.html

現在の自動選択の方法は簡単なものです. ファイルを先頭から読み込んでいって, 8ビット目が立っている文字があった場合, 『その行』の中で euc-japan で使用される領域のみを使っていれば euc-japan, そうでなければ shift-jis です. つまり,『漢字らしきものを含む最初の一行』で判断しています. 8ビット目が立っている文字が見つからなければいつまでも自動選択のままの状態が続き, 判断が必要になったときに判断します. shift-jis の片仮名のみを使用した場合や, 運の悪いときは, 誤って euc-japan と認識されます.

[70] Add UTF-7 to replacement encoding list? / Encoding sniffing · Issue #68 · whatwg/encoding, 2025-06-17T03:18:44.000Z https://github.com/whatwg/encoding/issues/68

[71] Encoding: make it clear sniffing for UTF-8 is not acceptable by annevk · Pull Request #14455 · web-platform-tests/wpt · GitHub, 2025-06-17T03:20:29.000Z https://github.com/web-platform-tests/wpt/pull/14455