Edit

Page

Page title:

Page body:

[23] 
[[文字列]]であるはずの[[バイト列]]からその[[文字コード]] ([[文字符号化]])
を決定する手法には、決め打ち (例: [[UTF-8]] 固定) や[[メタ情報]]
(例: [CODE[charset]] [[引数]]) の他に、
[[バイト列]]自体からの推定があります。

[24] 
不確実性を伴うものの、現実には非常に広範囲かつ頻繁に用いられています。

* 構文知識に基づく文字コードの決定

[25] 
内容がある程度限定される場合は、それを前提とした検出手法を採用できます。

[56] 
[[HTML]] などでは詳細な[[算法]]が仕様上定められています。

[57] 
それ以外でも[[発見的]]な方法が色々実装されています。
[[HTML]] などと違って明確な規定がない分野では実装ごとの違いが大きく、
[[相互運用性]]に問題が生じています。

[FIG(short list)[ [1] 構文依存の方法により[[文字コード]]を決定する
- [[charset sniffing]]
- [[HTMLにおける文字コード]]
- [[XMLにおける文字コード]]
- [[CSSにおける文字コード]]
- [[BOM]]
- [CODE[coding:]]
]FIG]

* 確率的判定

[2] 
任意の[[テキストデータ]]の[[文字コード]]の判定には、
[[文字コード]]の[[バイト]]の[[範囲]]や、
出現[[文字]]の頻度・確率の情報が使われています。

[58] 
[[平成時代]]中頃までの古典的な方法では、
[[文字符号化]]によって[[符号]]の構造が異なることを利用し、
ある[[文字コード]]体系で出現する[[符号]]かそうでないかという構造的知識を主に使っていました。
しかしこの方法単独では[[符号]]構造が重複する領域で互いの区別が付きづらく、
あまり精度が上げられませんでした。
ただ、実装が容易ではあるので、幅広く用いられましたし、現在でも使われることは珍しくありません。

[EG[

[59] 例えば[[シフトJIS]]と[[日本語EUC]]は第1バイトに使われる[[バイト]]、
第2バイトに使われる[[バイト]]の範囲がそれぞれ違っていますので、
その範囲に収まるかによってどちらか判断できることが多いです。
しかし完全に重なる部分もあるため、そのような[[符号]]ばかりだと正しく判定できません。

[60] 
また、[[半角カタカナ]]を利用すると両者の重なる領域が著しく増えるため、
誤判定が多くなり、頻繁に[[半角カタカナ]]の[[文字化け]]を目にすることになります。
これは[[半角カタカナ]]が嫌われる大きな要因の1つにもなっていました。

]EG]

[3] [[universalchardet]] は、 [[Mozilla]] が [[Webページ]]の表示のために開発したものです。
多くの[[プラットフォーム]]に移植されて使われています。

[4] 次の[[符号化]]に対応しています:

utf-8 utf-16be utf-16le iso-2022-cn big5 x-euc-tw gb18030 hz-gb-2312
iso-2022-jp shift_jis euc-jp iso-2022-kr euc-kr 
[CODE[iso-8859-5]] 
koi8-r
[CODE[windows-1251]]
x-mac-cyrillic ibm866 ibm855 iso-8859-7 
[CODE[tis-620]]
windows-1253
iso-8859-8 windows-1255 windows-1252

;;
[6] 
データだけで未実装:
[CODE[iso-8859-2]]
[CODE[windows-1250]]

[5] 
特に[[日本]]と[[キリル文字]]圏では、複数の[[文字コード]]が同程度に広く使われていたために[[自動判定]]が重宝されていました。

** TLD の利用

[39] >>38 : [CITE[[[chardetng]]]] の [[TLD]] と動作モードの関係性

[REFS[

- [38] 
[CITE@en[tld.rs - source]], [TIME[2025-05-19T13:31:23.000Z]] <https://docs.rs/chardetng/latest/src/chardetng/tld.rs.html>
- [43] 
[CITE@en[compact_enc_det/compact_enc_det/compact_enc_det.cc at master · google/compact_enc_det · GitHub]], [TIME[2025-05-19T15:36:17.000Z]] <https://github.com/google/compact_enc_det/blob/master/compact_enc_det/compact_enc_det.cc#L2059>

]REFS]

** 実装

[44] 出現頻度等による実装:

[REFS[

- [35] [CITE[[[UniversalCharDet]]]] の系譜
- [36] 
[CITE@en[[[GitHub]] - chomechome/charamel: 🌏 Truly Universal Encoding Detection in Python 🌎]], [TIME[2025-05-19T12:46:16.000Z]] <https://github.com/chomechome/charamel>
- [37] 
[CITE@en[GitHub - jawah/charset_normalizer: Truly universal encoding detector in pure Python]], [TIME[2025-05-19T12:51:46.000Z]] <https://github.com/jawah/charset_normalizer>
- [40] 
[CITE@en-US[Charset Detection | ICU Documentation]], [TIME[2025-04-15T18:50:10.000Z]], [TIME[2025-05-19T13:56:04.594Z]] <https://unicode-org.github.io/icu/userguide/conversion/detection.html>
- [41] 
[CITE@en[GitHub - hsivonen/shift_or_euc: Detects among the Japanese legacy encodings]], [TIME[2025-05-19T13:59:56.000Z]] <https://github.com/hsivonen/shift_or_euc>
-- [62] 
[[日本語]]系[[文字コード]]の判定
- [42] 
[CITE@en[GitHub - google/compact_enc_det: compact_enc_det - Compact Encoding Detection]], [TIME[2025-05-19T14:08:52.000Z]] <https://github.com/google/compact_enc_det/>
-
[45] 
[CITE@en-US[Encode::Guess::Educated - do something - metacpan.org]], [TIME[2025-05-20T15:01:04.000Z]] <https://metacpan.org/pod/Encode::Guess::Educated>
-[81] 
[CITE@en[GitHub - vlm/zip-fix-filename-encoding: Fix cyrillic character encoding of filenames inside zip archives]], [TIME[2025-05-16T10:03:38.000Z]] <https://github.com/vlm/zip-fix-filename-encoding>
-- [144] 
[CITE@en[zip-fix-filename-encoding/src/runzip.c at master · vlm/zip-fix-filename-encoding · GitHub]], [TIME[2025-05-24T14:05:58.000Z]] <https://github.com/vlm/zip-fix-filename-encoding/blob/master/src/runzip.c>
-- [61] 
[[キリル文字]]系[[文字コード]]の判定
- [84] [CITE[Wayback Machine]], [TIME[2025-06-02T11:58:14.000Z]] <https://web.archive.org/web/20250601053528/https://shoshia.tripod.com/pub/webconv.zip>
-- [64] [CODE[GEO-CONV.PL]]
--- [65] [CODE[&analyze]]
---- [66] >>64 は[[ジョージア文字]]の変換器ですが、その改造元は[[キリル文字]]の変換器で、
(おそらく改変されていない)この関数は[[キリル文字]]の[[文字コード]]を出現頻度で推定するものです。
[[注釈]]によると
[[Stefan Mashkevich]]
が[TIME[1998-11-26]]に開発したものです。
KOI8, DOS866, WIN1251, ISO8859-5, MAC に対応しています。
- [67] 
[CITE@en[Universal online Cyrillic decoder - recover your texts]], [[Petko Yotov]], [TIME[2025-06-04T07:48:52.000Z]] <https://2cyr.com/decode/>
- [73] 
[CITE@en-US[Encode::Detect::CJK - A Charset Detector, optimized for EastAsia charset and website content - metacpan.org]], [TIME[2025-06-25T08:14:27.000Z]] <https://metacpan.org/pod/Encode::Detect::CJK>

]REFS]

[54] 符号構造のみによる実装:

[REFS[

-
[63] 
[CITE[null]], [TIME[2008-05-10T18:15:22.000Z]], [TIME[2025-05-24T14:10:44.885Z]] <http://openlab.ring.gr.jp/Jcode/Jcode.pm#:~:text=sub%20getcode>
- 
[44] 
[CITE@en-US[Encode::Guess - Guesses encoding from data - metacpan.org]], [TIME[2025-05-20T14:53:40.000Z]] <https://metacpan.org/pod/Encode::Guess>
-
[72] 
[CITE@en-US[Encode::HanDetect - Cross-encoding, cross-variant Chinese decoder - metacpan.org]], [TIME[2025-06-25T08:00:21.000Z]] <https://metacpan.org/pod/Encode::HanDetect>
--[74] [CITE@en-US[HanDetect.pm - metacpan.org]], [TIME[2003-06-27T04:53:28.000Z]], [TIME[2025-06-25T08:15:33.569Z]] <https://metacpan.org/module/Lingua::ZH::HanDetect/source>
-
[53] 
[CITE@ja[文字エンコーディング判定スクリプト - t_komuraの日記]], [TIME[2025-05-21T12:18:53.000Z]] <https://t-komura.hatenadiary.org/entry/20091220/1261305552>
-
[75] 
[CITE@en-US[Encode::Multibyte::Detect - detect multibyte encoding - metacpan.org]], [TIME[2025-06-25T08:18:04.000Z]] <https://metacpan.org/pod/Encode::Multibyte::Detect>

]REFS]

[76] [CITE[LV Homepage (in Japanese)]], [TIME[2025-06-25T14:34:54.000Z]], [TIME[2001-01-19T05:51:42.277Z]] <https://web.archive.org/web/20010119052900/http://www.mt.cs.keio.ac.jp/person/narita/lv/index_ja.html>

>現在の自動選択の方法は簡単なものです. ファイルを先頭から読み込んでいって, 8ビット目が立っている文字があった場合, 『その行』の中で euc-japan で使用される領域のみを使っていれば euc-japan, そうでなければ shift-jis です. つまり,『漢字らしきものを含む最初の一行』で判断しています. 8ビット目が立っている文字が見つからなければ いつまでも自動選択のままの状態が続き, 判断が必要になったときに判断します. shift-jis の片仮名のみを使用した場合や, 運の悪いときは, 誤って euc-japan と認識されます.

[70] 
[CITE@en[Add UTF-7 to replacement encoding list? / Encoding sniffing · Issue #68 · whatwg/encoding]], [TIME[2025-06-17T03:18:44.000Z]] <https://github.com/whatwg/encoding/issues/68>

[71] 
[CITE@en[Encoding: make it clear sniffing for UTF-8 is not acceptable by annevk · Pull Request #14455 · web-platform-tests/wpt · GitHub]], [TIME[2025-06-17T03:20:29.000Z]] <https://github.com/web-platform-tests/wpt/pull/14455>

** テストデータ

[REFS[

- [7] 
[CITE@en[gecko-dev/extensions/universalchardet/tests at master · mozilla/gecko-dev · GitHub]], [TIME[2025-05-17T09:04:18.000Z]] <https://github.com/mozilla/gecko-dev/tree/master/extensions/universalchardet/tests>
-- [8] [[MPL]] 2
- [9] [CITE@en[juniversalchardet/data at master · seratch/juniversalchardet · GitHub]], [TIME[2025-05-18T03:30:23.000Z]] <https://github.com/seratch/juniversalchardet/tree/master/data>
-- [10] [[MPL]] 1.1 / [[GPL]] 2+ / [[LGPL]] 2.1+
- [11] 
[CITE@en[juniversalchardet/src/test/resources at main · albfernandez/juniversalchardet · GitHub]], [TIME[2025-05-18T03:36:18.000Z]] <https://github.com/albfernandez/juniversalchardet/tree/main/src/test/resources>
-- [12] [[MPL]] 1.1 / [[GPL]] 2+ / [[LGPL]] 2.1+
-- [13] >>9 を含み、更に追加
- [14] 
[CITE@en[ude/src/Tests/Data at master · errepi/ude · GitHub]], [TIME[2025-05-18T03:40:02.000Z]] <https://github.com/errepi/ude/tree/master/src/Tests/Data>
-- [15] 「[[MPL]] 1.1 / [[GPL]] 2+ / [[LGPL]] 2.1+」、
「Wikipedia と同じ」、
「The Project Gutenberg と同じ」
が混在
-- [16] >>9 を含み、更に追加
- [17] 
[CITE@ja[test · master · uchardet / uchardet · GitLab]], [TIME[2025-05-18T04:21:47.000Z]] <https://gitlab.freedesktop.org/uchardet/uchardet/-/tree/master/test?ref_type=heads>
-- [18] [[MPL]] 1.1 / [[GPL]] 2+ / [[LGPL]] 2.1+
- [19] 
[CITE@en[rust-chardet/tests/data at master · thuleqaid/rust-chardet · GitHub]], [TIME[2025-05-18T05:01:25.000Z]] <https://github.com/thuleqaid/rust-chardet/tree/master/tests/data>
-- [20] [[LGPL]] 3
- [21] [CITE@en[chardet/tests at main · chardet/chardet · GitHub]], [TIME[2025-05-18T05:10:41.000Z]] <https://github.com/chardet/chardet/tree/main/tests>
-- [22] 不自由なものを含む
---
[28] 
[CITE@en[problematic licensing of /tests? · Issue #231 · chardet/chardet]], [TIME[2025-05-19T06:27:37.000Z]] <https://github.com/chardet/chardet/issues/231>
--- [27] 
[CITE@en[Documentation licensed only to non-commercial and personal use found · Issue #271 · chardet/chardet]], [TIME[2025-05-19T06:24:05.000Z]] <https://github.com/chardet/chardet/issues/271>
- [29] 
[CITE@en[GitHub - Ousret/char-dataset: Public dataset used to challenge Charset-Normalizer]], [TIME[2025-05-19T08:37:52.000Z]] <https://github.com/Ousret/char-dataset>
-- [30] ライセンス不明
- [31] 
[CITE@en[charamel/tests/fixtures at master · chomechome/charamel · GitHub]], [TIME[2025-05-19T11:59:39.000Z]] <https://github.com/chomechome/charamel/tree/master/tests/fixtures>
-- [32] [[Apache 2.0]] となっているが、出所の怪しげなファイルもある
-- [33] [[Git LFS]]
-- [34] 機械的に変換したファイルが多い?
- [46] 
[CITE@en[compact_enc_det/compact_enc_det/compact_enc_det_unittest.cc at master · google/compact_enc_det · GitHub]], [TIME[2025-05-21T06:26:33.000Z]] <https://github.com/google/compact_enc_det/blob/master/compact_enc_det/compact_enc_det_unittest.cc>
-- [47] [[Apache 2.0]]
-- [48] [[C++]] ソースコードに埋め込まれている

]REFS]

** 文脈

[FIG(middle list)[ [26] [[文字コード]]の判定の[[応用]]

- [[テキストファイル]]の表示
-- [[テキストエディター]]の「開く」処理
- [[ZIPファイル]]の[[ファイル名]]
- [[RFC 822メッセージ]] ([[MIME]] 以前) 
- [[query parameter]] や[[フォームデータ]]の[[復号]]
- [[CSV]]
- [[IRC]]
- [[SRT]]
- [[ID3]]
- [[T[SUB[E]]X]]
- [[QRコード]]

]FIG]

* 関連

[55] [[文字コード選択メニュー]]

* メモ

- [51] 
[CITE@ja[mb_detect_encoding() は文字コード判定として使用できるか(その1) - t_komuraの日記]], [TIME[2025-05-21T12:15:39.000Z]] <https://t-komura.hatenadiary.org/entry/20090615/1245078430>
-- [50] 
[CITE@ja[mb_detect_encoding() は文字コードの妥当性検証として使用できるか(その2) - t_komuraの日記]], [TIME[2025-05-21T12:15:09.000Z]] <https://t-komura.hatenadiary.org/entry/20090621/1245595484>
-- [52] 
[CITE@ja[mb_detect_encoding() は文字コードの妥当性検証として使用できるか(その3) - t_komuraの日記]], [TIME[2025-05-21T12:17:54.000Z]] <https://t-komura.hatenadiary.org/entry/20090705/1246802467>

[49] [CITE@en['''['''ptexenc''']''' 入力ファイルの文字コードの自動判定 · Issue #142 · texjporg/tex-jp-build]], [TIME[2025-05-21T12:13:06.000Z]] <https://github.com/texjporg/tex-jp-build/issues/142>

- [68] [CITE@en-US[Encode::Detect::Upload - Attempt to guess user's locale encoding from IP, HTTP_ACCEPT_LANGUAGE and HTTP_USER_AGENT - metacpan.org]], [TIME[2025-06-16T10:29:46.000Z]] <https://metacpan.org/pod/Encode::Detect::Upload>

[69] >>68 [CODE[Accept-Language:]], [CODE[User-Agent:]] ([[OS]]), 
アクセス者の [[IPアドレス]]を使って[[文字符号化]]を推定する。
平成25年。

Historical Legal Sensitive Parent: [Help / License]

Edit

Page

Page name(s)