encoding sniffing algorithm

[69] encoding sniffing algorithm (charset sniffing) は、 バイト列からその符号化を推定するアルゴリズムです。

[64] 文書形式や API ごとに似て非なるものが各仕様書で分散して規定されています。

• BOM sniffing
• HTML encoding sniffing
• XML encoding sniffing
• CSS encoding sniffing

[80] HTML, XHR 文書応答 HTML, XML, script (古典スクリプト), CSS, テキスト文書, XHR テキスト応答などの各場面での文字コードの判定方法をまとめると、 次のようになります。

[94] 対象となるファイルの種別ではなく、どこで使われるかによって処理の方法が異なることに注意が必要です。 同じ HTML文書でも、 navigate で開かれるときと responseXML で開かれるときとで文字コードの判定の方法が異なるのです。

[95] ソース表示 (view-source:) について規定する仕様書はありませんが、 少なくても Firefox では通常の HTML文書の navigate と異なる判定を行っています。 (平文文書の navigate と HTML文書の view-source: の判定方法が同じか異なるかは不明です。) 2025-11-09T00:40:47.400Z

[89] charset sniffing に使うデータの長さについては、 >>121 や資源ヘッダーを参照。

文字コードの指定, 文字コードの判定

事例

Webブラウザーによる文字コード判定の失敗事例集

[65] 文字コードの判定を助けるため、紛らわしい他の文字コードに出現しない文字を含める技法を使うことがあります。 文字コードの判定

セキュリティー

sniffing

文字のセキュリティー

歴史

[62] Editorial: further cleanup "abort these steps" (shreyateeza著, 2018-01-09 20:22:36 +09:00) https://github.com/whatwg/html/commit/99e2cdfc484c2ff14cbf5c38b859f4d6da17e64c

[84] 1280556 – Encoding detection mismatch on http://www.idpf.org/epub/pgt/ (2016-06-25 20:58:34 +09:00) https://bugzilla.mozilla.org/show_bug.cgi?id=1280556

[124] Let the Encoding standard deal with the BOM · whatwg/html@83ebb72 (2016-02-10 22:46:18 +09:00 版) https://github.com/whatwg/html/commit/83ebb728198801e2f1a32b80ec7d7a2e7dccc593

[129] >>124 の変更により、利用者の指示や XHR の指示などによる上書きよりも BOM が最優先されるようになりました。また、 BOM があると confidence が certain に設定されていたのがなくなったので、 BOM があっても他の指定が優先されたり、符号化の変更が実行されたりするようになりました (もっとも結局 BOM が最優先されるので、最終的な結果は変わりません)。

[83] >>129 この不具合はその後修正されています。

Web の日本語化

• [13] WWW Browsers that can display Japanese, 2024-08-30T09:26:30.000Z, 1998-02-08T02:07:51.085Z https://web.archive.org/web/19980208020014/http://www.ntt.co.jp/japan/note-on-JP/browsers.html
  • [14] Japanese Encoding Methods, 2024-08-30T09:26:52.000Z, 1998-02-08T02:08:21.329Z https://web.archive.org/web/19980208020006/http://www.ntt.co.jp/japan/note-on-JP/encoding.html
• [15] netscape-j.info.eng file, 2024-08-30T09:27:03.000Z https://web.archive.org/web/19961128190942/http://condor.stcloud.msus.edu:20020/netscape.html
• [16] ISO-2022-JP にも関連事項

[17] Dan Connolly の過去ファイルアーカイブ ( HTMLの仕様書 ) にある MarkUp.html,v によるとかつて info.cern.ch にあった HTMLの仕様書には1994-04-12時点で

<H2>For developers</H2>
<DL>

<DT><A
NAME="z40" HREF="http://www.ntt.jp/japan/note-on-JP/encoding.html">Japanese encoding</A>
<DD> How Japanese characters
have been encoded within HTML

と NTT ウェブサイトへの参照があったようです。

[19] このリンクがいつまで残っていたのかわかりません。

[20] JPドメインの再編で URL が変わってからもしばらくは参照先の頁は残っていたようで、 >>18 に平成9(1997)年時点の参照が、 >>14 に平成10(1998)年時点の複製があります。

Web の多言語化、初期の試み

[40] Sample Pages for Various Character Sets, 2025-06-17T02:23:42.000Z, 2006-05-12T03:58:22.300Z https://web.archive.org/web/20060512035632/http://vancouver-webpages.com/multilingual/

[41] Une indigestion de jeux de caractères, 2025-06-20T11:52:03.000Z, 1997-05-02T05:03:35.837Z https://web.archive.org/web/19970502020520/http://www.ics.uci.edu/pub/ietf/html/multilingual.html

[54] IE3.01 MojiBake, 2025-11-02T12:39:40.000Z https://groups.google.com/g/fj.net.infosystems.www.browsers/c/wnawyNwhm_I/m/CD7Ej3R0UOMJ

おかしな実装の例としては、(私の場合、全て MS-Windows95 での話ですが、)
Netscape Navigator の Version 2 が、そうなっていました。
x-sjis は解釈できるが、Shift_JIS では文字化けしました。
Version 3/4 では、Shift_JIS を正しく解釈します。


但し、Version 4.0 Preview Release 2 には、Navigator の Encoding と、
META タグで指定された charset とが一致していない場合に、
<H3>Transfer Interruped !</H3>
(もう記憶があいまいですが、確かこうだった)
というものを、その時受けていたページの中に埋め込んでしまいます。
埋め込んだまま、cache に記録してしまうので、reload しても消えません。

私のページの場合、それがちょうど、表 <TABLE> - </TABLE> の中に入ってしまって、
表の表示がメチャクチャになってしまいました。

Version 4.0 Preview Release 3 では、そういうバグはありません。


それから、MS-IE 3.0/3.01 では、
META タグで charset を指定すると、かえって文字化けしやすくなる様です。
MS-IE 3.02/4.0では試していません。


さらに、Win32 版 Lynx の先月のバージョンでは、
META タグで charset を指定すると、必ず文字化けします。
もっともこれは、私が Lynx の設定をちゃんとしていないからかもしれません。

[55] https://groups.google.com/g/fj.net.infosystems.www.browsers/c/wnawyNwhm_I/m/HURaRZwFLwYJ

Win32 Lynx の名誉のために自分でフォローしときます。

META指定無し


<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=Shift_JIS">

<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-2022-jp">
では、文字化けしません。

<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=x-sjis">
だと、文字化けします。

なお、LYNX.EXE の作成日時は、97/03/14 18.19 です。

[31] Charsets in Microsoft Internet Explorer 4, 2007-11-14T17:53:13.000Z, 2025-05-19T13:18:22.236Z https://www.w3.org/International/ms-charset.html

[21] Re: proposed registration of type 'text/html' for MIME, 2003-08-04T15:50:20.000Z, 2024-09-29T07:28:49.747Z https://lists.w3.org/Archives/Public/www-talk/1992NovDec/0035.html

[22] >>21 この時点で TimBL は HTML は7ビットデータにしたがっていた。

• [29] Hebrew in xgopher and xmosaic, 2024-10-07T08:58:55.000Z https://groups.google.com/g/comp.windows.x.apps/c/rxYwpVeG5Mk/m/r-C__uoThWYJ

• [24] Greek Mosaic, 2024-10-07T08:15:46.000Z, 1997-06-07T11:12:48.666Z https://web.archive.org/web/19970607111220/http://expert.cc.purdue.edu/~hsa/Mosaic.html
• [25] Greek Netscape, 2024-10-07T08:16:12.000Z, 1997-06-07T11:13:35.680Z https://web.archive.org/web/19970607111227/http://expert.cc.purdue.edu/~hsa/Netscape.html

[26] >>24 >>25 リンク先は残念ながら未所蔵。

[28] Internationalized HTTP?, 2024-10-07T08:29:30.000Z https://groups.google.com/g/comp.infosystems.www/c/htw5XLv4Hj0/m/wPr5IAol_EIJ

[23] What is standard for cyrllic HTML ? Hebrew ? Arabic ?, 2024-10-07T07:59:17.000Z https://groups.google.com/g/comp.infosystems.www.providers/c/lBJKtyujAk4/m/yRxsWMDGpZUJ

[27] WWW and cyrillic, 2024-10-07T08:26:42.000Z https://groups.google.com/g/relcom.tcpip/c/dUBIIAE-MnM/m/i_YJic8dqjUJ

[48] Official Google Blog: Unicode nearing 50% of the web, 2025-10-14T07:48:09.000Z, 2025-10-19T12:59:41.663Z https://googleblog.blogspot.com/2010/01/unicode-nearing-50-of-web.html

• [7] RFC 4329: Scripting Media Types, 2022-11-22T07:32:55.000Z https://www.rfc-editor.org/rfc/rfc4329.html#section-4
• [9] RFC 9239: Updates to ECMAScript Media Types, Matthew A. Miller, 2022-11-22T08:24:07.000Z https://www.rfc-editor.org/rfc/rfc9239#section-4

[8] >>7 JavaScript MIME型の文字コード処理 (実装された例があるかは疑わしい)

[30] 詳しい条件は不明ながら、 Chrome はメモリー不足だと文書中から読み込むファイル (CSS など) の文字コード判定に失敗して Windows-1252 として読み込んじゃう(ことがある)っぽいなあ。 2024-11-08T02:11:07.500Z

[32] compact_enc_det/util/encodings/encodings.cc at master · google/compact_enc_det · GitHub, 2025-05-19T14:51:44.000Z https://github.com/google/compact_enc_det/blob/master/util/encodings/encodings.cc

[33] Usage Statistics and Market Share of Character Encodings for Websites, June 2025, 2025-06-15T00:41:19.000Z https://w3techs.com/technologies/overview/character_encoding

[34] >>33 現在表示されているデータでは

UTF-8 is used by 98.7% of all the websites whose character encoding we know.

となっている。

[35] >>34 の通り UTF-8 が今や圧倒的に多いのだろうが、古くから残る頁はこうした統計の対象になりにくいことが多いので漏れてしまう。 また、少ないデータは精度が落ちる。

[36] EUC-JP が 0.1%、 Shift JIS が 0.1% 未満となっていて EUC-JP の方が優勢になっているが、 にわかに信じがたい。 Shift JIS の頁を見ると、 2024-09-01まで 0.25% と 0.3% の間だったのが2024-12-01には0.05%と急激に落ちているが、その前後はほとんど横ばい。 こういう結果が出ているということは、どこか特定のサイトが UTF-8 に一括変更したか、 調査対象から外れたことが疑われる。

[38] >>36 WIndows-31J も同じ時期に 0.0008% から 0.0002% に減少しているのはなんか怪しい。

[37] また、割合が少ない文字コードを使っているドメインを見ると銀行なんかが入っていたりする。 割合が少ないからといって重要なサイト、よく見られるであろうサイトが入っていないということではない。 保守的で大規模なシステムを抱えているところが古い文字コードのままというのはよくあること。

[39] >>34 では ansi_x3.110-1983 なるものまで上位として挙げられている。 これは誤りと考えられるもの ( ansi_x3.110-1983 )。 いくら広く普及している誤りといっても、さすがにそんなものが他の諸言語の旧来文字コードに比類するようなレベルに至っているとは考えにくい。 それだけ収集範囲が偏っているとみるべき。

[49] Character Set Test Area, 2025-10-28T14:26:51.000Z https://charsetplus.tripod.com/HTMLs/index.html

[50] 欧米偏重のWebブラウザー事業者による従来文字コード切り捨てについてはいろいろ語るべき点があるのでしょうが、 それがわかりやすく表れているのが越南語かもしれません。

20世紀に広く用いられていた越南語の文字コードを Encoding Standard はどれ1つとして収録していません。今の Webブラウザーでは20世紀のベトナムの Webサイトがまったく読めません。

そのかわりに Encoding Standard は Windows-1258 を規定しています。 Windows-1258 は Microsoft が越南向けに開発した文字コードですが、当時ほとんど使われておらず、 Web 上に (Internet Archive を探しても) Windows-1258 の Webサイトは皆無です。 なぜ Encoding Standard にあるかといえば、他の欧米等の Windows-125x シリーズとまとめて全 Webブラウザーが実装していたからです。 誰も現地の実態を調べていません。

• [51] chardetng: A More Compact Character Encoding Detector for the Legacy Web, Henri Sivonen, 2020-06-08T16:23:51.000Z, 2025-10-29T10:46:36.590Z https://hsivonen.fi/chardetng/#legacy

[52] >>51 は Firefox の文字コードの判定の実装の作り直しが西暦2020年(令和2年)に行われたときのものですが、 越南語は Unicode と違って Windows-1258 だと分解が必要なので工夫してデータを作った!と報告してます。

でも今も当時も Windows-1258 のWebページなんてない、あったとしても天然記念物レベルなので、 そんな文字コードの判定に対応しても誰の役にも立たないのです。

そして当時の実際の文字コードはというと、 VN3, VISCII, VPS は現在の Unicode の一般的な用法と同じで分解されていない合成済文字。 VNI (Web で使われた ANSI 版) は2文字の組合せで表すことは Windows-1258 と似ていますが、組合せ方はまったく違います。 Windows-1258 専用のデータはこのどちらにも流用できません。

そんな基礎的事実を確認しないまま実装を進めているというのが現実なわけです。

[53] Description of settings in lynx configuration file, 2023-10-24T19:26:50.000Z, 2025-11-02T05:10:10.462Z https://lynx.invisible-island.net/lynx_help/body.html#CHARACTER_SET