[47] 符号化は、文字列をバイト列に変換する操作です。 復号は、バイト列を文字列に変換する操作です。

仕様書

符号化

[45] 符号化符号化 (動詞)は、文字列を何らかのバイト列に変換する操作です。

[40] 符号化encodeは、 符号位置のストリームストリームと文字符号化符号化について、 次のようにします >>1。

  1. [41] 出力を、バイトストリームに設定します。
  2. [42] 符号化の符号化器クラスを走らせ走らせるます。 入力をストリーム、出力を出力とし、 誤りモードは html とします。
  3. [43] 出力を返します。

[44] replacement、UTF-16BE、UTF-16LE を符号化とすることはできません >>1。

[53] 符号化操作が使われる場面は、 Webにおける文字コードを参照。

[46] この操作は、 Encoding Standard の規定する任意の文字符号化への符号化符号化 (動詞)が必要な場合に使います。 これは後方互換性のため必要な場面に限定されています。 新しい文脈では UTF-8符号化などを用いるのが望ましいと考えられています >>1。

復号

[33] 復号復号 (符号化)は、何らかのバイト列を文字列に変換する操作です。

[3] 復号decode復号 (符号化)は、 バイトストリームストリームと符号化文字符号化符号化について、 次のようにします >>1。

  1. [4] バッファーを、空のバイト列に設定します。
  2. [6] 繰り返し、ストリームを読み読む (ストリーム)、 バッファーの末尾に追加します。バッファーが3バイトとなるか、 end-of-stream が得られた時点でやめます。
  3. [7] バッファーの最初の3バイトが 0xEF 0xBB 0xBF なら、
    1. [8] 符号化を、 UTF-8 に設定します。
  4. [10] それ以外で、バッファーの最初の2バイトが 0xFE 0xFF なら、
    1. [11] 符号化を、 UTF-16BE に設定します。
    2. [5] バッファーが3バイトなら、
      1. [9] バッファーの最後のバイトを、ストリームにprependprepend (ストリーム)します。
  5. [13] それ以外で、バッファーの最初の2バイトが 0xFF 0xFE なら、
    1. [14] 符号化を、 UTF-16LE に設定します。
    2. [35] バッファーが3バイトなら、
      1. [36] バッファーの最後のバイトを、ストリームにprependprepend (ストリーム)します。
  6. [34] それ以外なら、
    1. [32] バッファーを、ストリームにprependprepend (ストリーム)します。
  7. [12] 出力を、符号位置のストリームに設定します。
  8. [16] 符号化の復号器クラスを走らせ走らせる (符号化)ます。 入力はストリーム、出力は出力とします。
  9. [17] 出力を返します。

[31] 仕様書にはありませんが、符号化も返す必要があります。

[57] TextDecoder インターフェイスの decodeTextDecoder メソッド >>56 は、その復号復号 (符号化)の処理の部分について、引数として

復号器オブジェクト
復号器オブジェクト
ストリーム
ストリーム
誤りモード
誤りモード (replacementreplacement (符号化) または fatalfatal (符号化))
do not flush flag
フラグ
BOM無視フラグ
フラグ
... を受け取り、次のようにします。
  1. [58] 出力を、新しいストリームに設定します。
  2. [59] 繰り返し、
    1. [60] 字句を、ストリームを読ん読むだ結果に設定します。
    2. [61] 字句が end-of-stream で、 do not flush flag が真なら、
      1. [63] 繰り返しをここで脱出します。
    3. [62] それ以外なら、
      1. [64] 結果を、復号器オブジェクトの処理処理 (符号化)の結果に設定します。 入力はストリーム、出力を出力、 誤りモードを誤りモードとします。
      2. [65] 結果により、
        終了済み終了済み (符号化)
        繰り返しをここで脱出します。
        誤り誤り (符号化)
        TypeError を投げ、ここで停止します。
  3. [67] ストリームの直列化serialize stream、すなわち、
    1. [66] ストリームを、 end-of-stream が得られるまで読み読む続けます。 結果を、得られた符号位置を順に連結したものに設定します。
    2. [68] 復号器オブジェクトが UTF-8、UTF-16BE、UTF-16LE のいずれかで、 BOM無視フラグが偽なら、
      1. [69] 結果の先頭が U+FEFF なら、これを除去します。
    3. [70] 結果を返します。

[71] この操作は、文字列の境界以外で分割されているかもしれない複数のバイト列を連続する1つの文字列として処理することや、 BOM の扱いを著者が指示することを想定し、他での処理よりも複雑となっています。

[84] 実際には、復号復号 (符号化)操作やUTF-8復号および関連各操作も、 入出力が1つのバイト列・文字列ではなくストリームとなる場合があり、 この操作と同じような形で実装することになると思われます。

[72] 復号復号 (符号化)操作が使われる場面は、 Webにおける文字コード参照。

[43] 復号復号 (符号化)操作は、 Encoding Standard の任意の文字符号化からの復号復号 (符号化)のために使えます。 これは後方互換性のため必要な場面に限られます。 新しい文脈では UTF-8復号を用いるのが望ましいと考えられています >>1。

[81] UTF-8復号は、復号復号 (符号化)操作を呼び出さず、 直接復号器を呼び出しています。

[37] 復号復号 (符号化)の操作は、引数として文字符号化を引き渡すことができます。 しかし入力に BOM が含まれていれば、そちらが優先されます (BOM sniffing)。

[73] 他の charset sniffing との関係については、 Webにおける文字コードを参照。

[39] この操作はしばしば HTTP で転送されたデータに適用されます。 Webにおける文字コード

[38] HTTP 仕様上は charset 引数の文字符号化の指定が BOM より優先されることになっていますが、現実にはそれでは相互運用性に問題があります。 これは意図的違反です >>1。

[83] なお、 charset 引数で指定されるのは符号化ラベルであり、 呼び出し側で適切な文字符号化に変換してから本操作を呼び出す必要があります。

符号化器と復号器

[49] Encoding Standard は、符号化器と復号器を、 文字符号化ごとに定義されるクラス的なものと、 その実現値たる個別のオブジェクト的なものの両方の意味で使っています。

[52] 符号化器クラスや復号器クラスには、 走らせる走らせる (符号化)処理と取扱器取扱器 (符号化)が定義されています。 また復号器クラスのBOMを持つは、当該復号器の文字符号化が UTF-8、UTF-16BE、UTF-16LE のいずれかなら真で、それ以外なら偽です。

[2] 符号化器オブジェクトや復号器オブジェクトは、 いくつかの文字符号化依存の状態を持ちます。 また、処理処理 (符号化)演算が定義されています。

[50] 更に、 Web IDLインターフェイスとして TextEncoder と TextDecoder があり、それぞれ (通常の Web IDL のインターフェイス同様に) インターフェイスオブジェクト (≒ クラス) とオブジェクトが存在しています。

[51] TextEncoder や TextDecoder のオブジェクトは、 いくつかの状態を持ちます。それには符号化器オブジェクトや復号器オブジェクトも含まれます。 同時には1つのオブジェクトだけを持ちますが、時に新しいオブジェクトに差し替えられることがあります。

[21] 符号化文字符号化の符号化器クラスまたは復号器クラス器を、 ストリーム入力、ストリーム出力、 誤りモードモードについて走らせるrunには、 次のようにします >>15。

  1. [22] オブジェクトを、器の新しい実現値オブジェクトに設定します。
  2. [23] 繰り返し、
    1. [24] 結果を、処理処理 (符号化)の結果に設定します。
      オブジェクト
      オブジェクト
      字句
      入力を読んだ読む (ストリーム)結果
      入力
      入力
      出力
      出力
      モード
      モード
    2. [25] 結果が継続継続 (符号化)以外なら、
      1. [26] 結果を返し、ここで停止します。

[55] 走らせる走らせる (符号化)は、符号化符号化 (動詞)、 復号復号 (符号化)の他に、 UTF-8復号、BOMなしUTF-8復号、BOMなしUTF-8復号または失敗から呼び出されます。

[27] 符号化器オブジェクトまたは復号器オブジェクトオブジェクトを、 字句字句 (文字コード)字句、 ストリーム入力、ストリーム出力、 誤りモードモードについて処理processするには、 次のようにします >>15。

  1. [28] 結果を、入力と字句についてオブジェクトのクラスの取扱器取扱器 (符号化)を実行した結果に設定します。
  2. [29] 結果により、
    継続継続 (符号化)、終了済み終了済み (符号化)
    結果を返し、ここで停止します。
    1つ以上の字句
    結果を出力にpushpush (ストリーム)します。
    誤り誤り (符号化)
    モードにより、
    replacementreplacement (符号化)
    U+FFFD を出力にpushpush (ストリーム)します。
    htmlhtml (符号化)
    &#、結果の符号位置を十進数でASCII数字で最短で表現したもの、 ; を連結したものを入力にprependprepend (ストリーム)します。
    fatalfatal (符号化)
    誤り誤り (符号化)を返し、ここで停止します。
  3. [30] 継続継続 (符号化)を返します。

[54] 処理処理 (符号化)は、走らせる走らせる (符号化)の他に、 TextEncoder の encodeTextEncoder メソッドでも呼びだされます。しかしUTF-8符号化 (間接的に走らせる走らせる (符号化)を呼び出します。) と実質的に等価です。

[19] 符号化器や復号器の取扱器取扱器 (符号化)handlerは、 ストリームと字句を入力とします。 次のいずれかを返します。 >>15

[48] 具体的なアルゴリズムは、文字符号化ごとに規定されています。

各文字符号化の項を参照。

文脈

[18] 符号化は、符号化器encoderクラスと復号器decoderクラスを持ちます >>15。

ただし置換、UTF-16BE、UTF-16LEは符号化器クラスを持ちません >>15。

誤りモード

[20] 誤りモードerror modeは、次のいずれかです >>15。

replacementreplacement (符号化) (復号器、既定値)
不正な入力を U+FFFD に置換することを指定するものです。
fatalfatal (符号化) (復号器 / 符号化器、既定値)
不正な入力の時エラーを報告して停止するべきことを指定するものです。
htmlhtml (符号化) (符号化器)
出力の文字符号化で表現できない時 HTML の十進文字参照に置換することを指定するものです。

[75] fatalfatal (符号化) は、 XML構文解析器 >>15、 BOMなしUTF-8復号または失敗、 TextDecoder fatalfatal (符号化) で使われます。

[78] replacement はその他の復号が必要な場面で使われます。 例えばHTML構文解析器が該当します。

[74] 符号化器では実際には htmlhtml (符号化) しか使われません。 かつては TextEncoder で UTF-8 以外かつ fatalfatal (符号化) が指定される可能性があったようですが、現在では UTF-8 しか指定できません。 また UTF-8 はすべてのUnicodeスカラー値を誤り誤り (符号化)なく符号化符号化 (動詞)できます。

サロゲートは Web IDL USVString への変換の時点で置換されます。

歴史

[76] Define 'continue' and 'break' statements (mikewest著, ) https://github.com/whatwg/infra/commit/8fbf990dcdb5f7ee80a85b569cba61a056fe1cc5

[77] Parse application/x-www-form-urlencoded using UTF-8 only (annevk著, ) https://github.com/whatwg/url/commit/3fe969679f78c92c353047661b0c4b6797f099f6

[90] Give clearer advice on hooks for standards (annevk著, ) https://github.com/whatwg/encoding/commit/b579018b406d7752f8b7a3aa9c2bc800519c6f1a

[92] Use UTF-8 decode without BOM for multipart/form-data (annevk, , ) https://github.com/whatwg/fetch/commit/7db8ac52245d6f0abaaeec6ae1cd96553c30b737