prescan a byte stream to determine its encoding

HTML における文字コード

仕様書

概念

文書に対する要件

Webにおける文字コードも参照。

[6] 現在の HTML Standard は、文書の文字符号化を UTF-8 としなければならないと定めています。 >>5

[7] 文書とだけしか限定がないので、 HTML文書にも XHTML文書にも適用されます。

[8] Encoding Standard によると、その符号化ラベルは utf-8 (ASCII大文字・小文字不区別]) としなければなりません。 >>5

[9] 著述工具は、新しく作成する文書の文字符号化の既定値を UTF-8 としなければなりません。 >>5

[10] かつての HTML5 は、 UTF-8 を使うべきとし、いくつかの文字符号化は使うべきではないとしつつ、それ以外の文字符号化を使うことを認めていました。

[11] それ以前の HTML の仕様では任意の文字符号化の利用が認められていました。

`charset` 引数

[21] charset 引数は、 sniffed MIME type ではなく、元々の MIME型の指定から得ます >>20。

prescan / `<meta charset>`

歴史

テストケース

[15] Index of /~wakaba/test/web/html/charset (2014-08-09 02:05:02 +09:00 版) http://suika.suikawiki.org/~wakaba/test/web/html/charset/

[31] HTML documents misinterpreted by charset sniffer

歴史

[33] Welcome to Netscape Navigator 3.0, 2024-08-16T11:57:20.000Z, 2002-06-30T20:20:49.244Z https://web.archive.org/web/20020630200918/http://wp.netscape.com/eng/mozilla/3.0/relnotes/windows-3.0.html#International

実装

[16] テストケース (>>15) によると (2014-08-09T02:27:16.900Z)、

[17] Chrome は change the encoding で文字符号化を変更しても、 navigate を再実行しないようです。 (非ASCII文字が文字符号化宣言より前にあると、文字化けしたまま残ります。) Firefox は navigate を再実行します。
[18] Chrome は prescan を実行しないようです。 Firefox は実行するようです。
[19] Chrome も Firefox も、文字符号化宣言が document.write 由来の時、 change the encoding しないようです。ただし Chrome はタグの先頭文字、 Firefox は末尾文字が document.write 内かどうかで判断しているようです。

関連

[13] Encoding Standard, 参照処理モデル, XMLにおける文字コード, MIME charset も参照してください。

メモ

[25] Update integration with Encoding Standard · whatwg/html@6a31c26 (2016-02-14 18:47:07 +09:00 版) https://github.com/whatwg/html/commit/6a31c26cf12e39dab1a488e75dd56c03d6786d39

[26] Regression: do not use "get an output encoding" for decoding · whatwg/html@c36f738 (2016-04-26 20:51:26 +09:00 版) https://github.com/whatwg/html/commit/c36f7384f1f617b13c68d28b89d850cb18ceadfb

[30] Require UTF-8 (sideshowbarker著, 2017-10-06 19:09:17 +09:00) https://github.com/whatwg/html/commit/fae77e3c558b9f083dfb9086752863a4789268f5

[32] Give browsing context an explicit container (annevk, 2019-11-22 17:11:31 +09:00, 2022-01-13T10:26:34.000Z) https://github.com/whatwg/html/commit/7b4964ad0a953b05738afc66600fa47a4dc8045d