Unicode IDNA互換性処理 [63] Unicode IDNA互換性処理Compatibility Processing はドメイン名 に含まれる文字 を正規化 し、
Punycode を復号 します。これは ToUnicode 操作 そのものであると共に、
IDNA2008前処理 として IDNA2008 本体での処理の前段階として用いたり、
ToASCII 操作 の最初の手順として用いたりします。 Unicode
に戻すために使うだけでなく、 ASCII (Punycode ) にしたいときもまずはできるだけ
Unicode 化して正規化 した状態にするということですね。
[41] 入力 は、次のものです >>44 ドメイン名 Unicode文字列 UseSTD3ASCIIRules boolean CheckBidi boolean CheckJoiners boolean CheckHyphens boolean 処理オプション 移行的処理 Transitional Processing 非移行的処理 Nontransitional Processing Punycode符号化 boolean (既定値は偽 )VerifyDnsLength boolean
[64] 移行的処理 と非移行的処理 の違いは IDNA2003 と IDNA2008
で Aラベル (ACEラベル ) への変換結果が変わってしまう4文字の扱いだけ >>25 移行的処理 はこの4文字を IDNA2003 風に写像 して他の文字に変えたり削除したりしますが、
非移行的処理 ではそのまま残します。
[45] 出力 は、 (Unicode文字列 , boolean ) の組です。
Unicode文字列 は、変換結果です。 boolean は、誤り の有無を表します。
誤り があっても、出来る限りの変換結果の文字列が返されます。 >>44
[34] 次のようにします >>44 [46] 結果 を、空文字列 に設定します。[42] 誤り を、偽 に設定します。[49] 写像 map ドメイン名 の各符号位置 符号 について、
順に、[50] IDNA写像表 (UseSTD3ASCIIRules 符号 の状態値 により、禁止 disallowed 誤り を、真 に設定します。無視 ignored 符号 を、 null に設定します。写像 mapped
符号 を、IDNA写像表 (UseSTD3ASCIIRules 符号 の写像値 に設定します。 偏差 deviation
処理オプション が移行的処理 なら、
符号 を、IDNA写像表 (UseSTD3ASCIIRules 符号 の写像値 に設定します。 [47] 符号 が null でなければ、[43] 結果 の末尾に符号位置 符号 を追加します。[58] 正規化 normalize 結果 を、 結果 に NFC を適用した結果に設定します。[59] 切断 break ラベル群 を、結果 を .U+002E で分割した結果に設定します。[60] 変換 ・妥当性検証 convert/validate ラベル群 の各項目ラベル について、順に、[61] ラベル の先頭が xn-- なら、[48] 結果 を、ラベル から先頭4文字を除去したものに
Punycode復号 を適用した結果に設定します。[28] 結果 が失敗 の場合、[39] 誤り を、真 に設定します。[51] それ以外の場合、[29] ラベル群 におけるラベル を、結果 で置き換えます。
以後ラベル は結果 とします。[30] 結果 を、
ラベル が非移行的処理 、UseSTD3ASCIIRules CheckHyphens CheckBidi CheckJoiners 妥当性基準 に合致するか否かに設定します。[52] 結果 が偽 なら、[53] 誤り を、真 に設定します。[31] それ以外の場合、[32] 結果 を、
ラベル が処理オプション 、UseSTD3ASCIIRules CheckHyphens CheckBidi CheckJoiners 妥当性基準 に合致するか否かに設定します。[54] 結果 が偽 なら、[55] 誤り を、真 に設定します。[96] Punycode符号化 が真 の場合 >>95 [97] ラベル に非ASCII文字 が含まれるなら、[98] 符号化ラベル を、 xn-- の後にラベル にPunycode符号化 を適用した結果を連結したものに設定します。[99] ラベル群 のラベル を、符号化ラベル で置き換えます。
以後ラベル は符号化ラベル とします。[100] VerifyDnsLength が真 なら、[101] ラベル の長さが範囲 [ 1 , 63 ] に含まれなければ、[102] 誤り を、真 に設定します。[57] 結果 を、ラベル群 の各項目を .U+002E で連結した結果に設定します。[103] VerifyDnsLength が真 の場合 >>95 [104] 結果 の長さ (末尾が U+002E の場合、それを無視した長さ)
が範囲 [ 1 , 253 ] に含まれなければ、[105] 誤り を、真 に設定します。[56] (結果 、誤り ) を返します。
[33] 誤り が真 なら成功 、そうでなければ失敗 です。 >>44
[106] 仕様書 では、 Punycode符号化 と VerifyDnsLength
の処理はUnicode IDNA互換性処理 自体ではなく、それを呼び出す ToASCII
演算の一部として定義されています。[65] 実装は、利用者 に表示 する時には、更に変更を加えても構いません。
例えば誤り が真 に設定される原因の部分を U+FFFD
に置き換えたりすることが推奨recommend されます。 >>44
[35] この算法 は冪等 です。 >>44
[107] 利用される場面は、 >>72 を参照。
[37] 誤りとなる場合の処理は、 Chrome も Firefox も、仕様書 とは少しずつ違うようです。
両者も互いに異なります。非ASCII文字 を含む場合、含まない場合、
誤りとなる文字の種別、 xn-- から始まる場合、
Aラベル を復号 したら不正な場合などでそれぞれ違った結果になります。
[85] Chrome でも Firefox でも、入力 (正規化前) のドメイン名 全体で非ASCII文字 をまったく含まないなら妥当性基準 を検証しないようです。
2016-08-28T03:03:52.300Z
[89] Firefox は妥当性基準 のうち - の検査を行わないようです。
Chrome はドメイン名 全体で非ASCII文字 を含む時、
ASCII文字 のみのラベル も含め、行うようです。
2016-08-28T03:15:33.000Z
[91] Chrome は偏差 となる U+200C と U+200D
を無視 としています (移行的処理 の挙動)。
Firefox は妥当 として扱い (非移行的処理 の挙動)、
ContextJ規則 の検査も行いません。 2016-08-28T03:39:10.400Z
[90] IE は、 bidi規則 の検査は
(IDNA2008 相当も IDNA2003 相当も) 行っていないらしいです。
[92] Firefox も bidi規則 の検査は行っていないようです。 2016-08-28T03:24:19.700Z
[93] Chrome は IDNA2003 相当の検査は行っていないようですが、
何らかの検査は行っているようにみえます。 2016-08-28T06:18:45.100Z
[108] Chrome は非ASCII文字 が含まれるとき、
最後 (末尾の点 後) 以外のラベル が空かどうか検査し、
空だとエラーとするようです。
非ASCII文字 が含まれなければエラーにはしません。 2016-08-28T14:43:18.500Z
[109] Chrome は非ASCII文字 が含まれる時、
ラベル の長さの検査も行うようです。 2016-09-01T08:24:39.500Z
[94] new URL ("http://\u0640a") は Chrome でエラーになります。
Firefox ではエラーになりません。 2016-08-28T06:20:14.100Z
[83] IDNA2003 時代は、写像 などの処理は Nameprep によって規定されていました。
(ただし IDNA2003 の仕様書 はラベル に対する演算としているのに対し、
現実にはドメイン に対する演算として実装されていて、その点は当時からすでに現在の
UTS #46 と同じでした。)
[84] Nameprep では NFKC を使っていましたが、 UTS #46 では NFC
を使っています。互換分解 は Nameprep の他の処理と共に写像 に組み込まれています。
移行的処理と非移行的処理の選択 [66] 移行期間中の DNS lookup では移行的処理 を、表示を含むそれ以外の場面では非移行的処理 を使うべきです。
>>25 2.1偏差 に分類される4文字だけであり、 lookup では移行的処理 を使っていたとしても、
表示においては非移行的処理 が利用者 の入力により近い形になるので好ましいです。
レジストリーにおける対応 [67] レジストリー にあっては次のいずれかの対応を行うことが強く推奨されています
>>25 2.2
Bundling : 移行的処理 と非移行的処理 の結果が異なるなら、両方が登録される場合には登録者 が同じでなければならないBlocking : 移行的処理 と非移行的処理 の結果が異なるなら、両方が登録されることを認めない、あるいはそもそも偏差 の4文字を認めない例 [40] http://www.unicode.org/reports/tr46/#Table_Example_Processing にこの算法 の適用例がいくつも示されています。
メモ [36] 利用者 にドメイン名 を提示する時には更に変更を加えても構いません。
禁止されている文字 を U+FFFD 妥当性検証 で失敗したラベル を U+FFFD 利用者 に示したりするのがよいとされています。 >>44
歴史 IDNA2003 の ToUnicode 演算 [1] IDNA2003 の ToUnicode演算 は、
国際化ラベル をACEラベル でない国際化ラベル に変換します。
大まかに言うと Punycode を復号 して人間可読な文字列 に戻す操作です。
[26] IDNA2003 [2] RFC 3490 - Internationalizing Domain Names in Applications (IDNA)
https://tools.ietf.org/html/rfc3490#section-4.2 [86] 入力:[3] 国際化ラベル 、すなわち Unicode 符号位置 の列。 RFC 3490 4.2 [9] フラグ AllowUnassigned RFC 3490 4.2 [10] フラグ UseSTD3ASCIIRules RFC 3490 4.2
[11] ToASCII を内部的に呼び出すので、 >>10 が入力となっています。直接は使っていません。
[87] 出力:[4] 国際化ラベル 、すなわち Unicode 符号位置 の列。 RFC 3490 4.2 [12] 入力 が ACE名札 なら、
等価 でACE名札 ではない 国際化名札 。[13] そうでなければ、元のままの国際化名札 。
[5] ToUnicode 失敗 しません。
>>8 の算法 が失敗 した場合、
入力 をそのまま出力 とします。
RFC 3490 4.2
[8] すべての符号位置 が ASCII の範囲
(U+0000 U+007F Nameprep を適用します
(旗 AllowUnassigned 誤り があれば失敗 とします。ACE接頭辞 ではじまることを確認し、
符号位置 の列の複製を作ります。ACE接頭辞 を削除します。Punycode を復号 します。
誤り があれば失敗 とします。
結果の列の複製を作ります。ToASCII 6 の結果が 3 で作成した複製と一致 することを確認します。
ここで、一致 するかは ASCII
の大文字 ・小文字 を区別しない比較 によります。 5 で作成した複製を出力とします。
[15] 確認して違っていたらどうするのでしょう。失敗 とすることを想定しているように見えますが、
明記されていません。
[16] 失敗した場合、 >>5 によりもとの入力が ToUnicode の結果となります。
[7]
出力 が入力 より符号位置 が増えることはありません。
RFC 3490 4.2
[27] IDNA2003 ToUnicode は次の場面で使われます。
UTS #46 [88] IDNA2003 ではラベル に対して、UTS #46 ではドメイン名 に対して
ToUnicode 操作 が定義されています。また、 UTS #46 では
ToUnicode と ToASCII の共通の内部操作Unicode IDNA互換性処理
IDNA2008 前処理 [20] UTS #46 のIDNA2008前処理 Preprocessing for IDNA2008 (完全な Unicode IDNA互換性処理 を行うのとは違って)
IDNA2008 の規定する処理に対する前処理 として使うことができる算法 であり、
その適合性 のクラス です。これは移行処理が特に必要がない場面で利用できます
>>25
[21] IDNA2008前処理 とは、入力 となる文字列 に ToUnicode 演算
(>>19 ) を適用することと定義されています >>23
[24] IDNA2008前処理 を適用すると大文字 から小文字 への変換など
IDNA2003 では行われていた処理の一部がなされるようになります。
これだけでは IDNA2008 で認められていない文字 が一部素通しされてしまいますが、
「前」処理であるので問題にはなりません >>23 IDNA2008 問題 [6] 479520 – (IDNA2008) Implement IDNA2008 and Unicode UTS #46
(2015-03-24 19:03:59 +09:00 版)
https://bugzilla.mozilla.org/show_bug.cgi?id=479520#c100 my understanding is that Microsoft and Google do not want to switch away from Transitional until at least some solution is found to the attacks mentioned in this bug.
[68] Cleanup definitions of domainToASCII() and domainToUnicode(). Give up… · whatwg/url@d18639f
(2015-08-18 12:14:04 +09:00 版)
https://github.com/whatwg/url/commit/d18639f13cb710938f2251a8f0e40b637aa82823
[69] Add a section on rendering URLs with some advice around bidirectional… · whatwg/url@d1152b9
(2015-08-27 11:53:32 +09:00 版)
https://github.com/whatwg/url/commit/d1152b94a16ae91e1f72d128fd5ef589635f0e7c
URL インターフェイス domainToUnicode 静的メソッド[111] URL インターフェイス の
domainToUnicode静的メソッド は、
次のようにしなければなりません >>110 [112] ドメイン を、必須の第1引数を USVString として解釈した結果に設定します。[113] Unicodeドメイン を、ドメイン にホスト構文解析器 を
Unicodeフラグ 付きで適用した結果に設定します。[114] Unicodeドメイン がドメイン なら、[115] Unicodeドメイン を返します。[116] それ以外なら、[117] 空文字列 を返します。
[118] ドメインをUnicodeに 操作を直接呼び出さずにホスト構文解析器 を挟んでいますから、
パーセント符号化 の処理、IPアドレス かどうかの判定、
不適切なASCII文字 の検査が追加で行われます。
[119] domainToASCII 静的メソッド を実行してからドメインをUnicodeに を実行するのと等価です。
[120] Remove URL.domainToASCII and domainToUnicode
(annevk 著, 2016-10-19 21:04:17 +09:00 )
https://github.com/whatwg/url/commit/2bd0f59b98024921ab90e628b7a526cca5abcb5f
[121] Use Nontransitional_Processing for IDNA ToASCII
(annevk 著, 2017-02-20 18:51:49 +09:00 )
https://github.com/whatwg/url/commit/f4d84a52e67b154b2d11e04889fe0a35a029c833
[122] IDNA: use proposed UTS46 flags to avoid breaking YouTube
(annevk 著, 2017-06-02 06:24:01 +09:00 )
https://github.com/whatwg/url/commit/dc9d83106cada9af507bf37dee3973de97b020fd
[125] IDNA / UTS #46 "should" requirements (Bidi and Joiners) · Issue #110 · whatwg/url
(2017-09-03 21:20:31 +09:00 )
https://github.com/whatwg/url/issues/110
[126] IDNA: realign once UTS46 revision 18 is final · Issue #313 · whatwg/url
(2017-09-03 21:23:48 +09:00 )
https://github.com/whatwg/url/issues/313
[127] Address several IDNA issues by annevk · Pull Request #309 · whatwg/url
(2017-09-03 21:24:25 +09:00 )
https://github.com/whatwg/url/pull/309
[128] IDNA · Issue #53 · whatwg/url
(2017-09-03 21:27:04 +09:00 )
https://github.com/whatwg/url/issues/53
[129] IDNA: UTS46 revision 19 is part of Unicode 10
(annevk 著, 2017-06-23 02:33:33 +09:00 )
https://github.com/whatwg/url/commit/b128ba9111c68ad767b472d77d0ada9ef85366ef
[130] IDNA: UTS46 revision 19 is part of Unicode 10 by annevk · Pull Request #325 · whatwg/url
(2017-09-03 21:31:43 +09:00 )
https://github.com/whatwg/url/pull/325
[124] Continue to use Nontransitional processing for IDNA
(TRowbotham 著, 2018-07-23 21:38:43 +09:00 )
https://github.com/whatwg/url/commit/6800342832fdf99caa265d0106cf984123716d9d
[131] Preserve use of Nontransitional processing for IDNA by TRowbotham · Pull Request #404 · whatwg/url
(2018-07-26 22:30:48 +09:00 )
https://github.com/whatwg/url/pull/404
[132] Restructure URL rendering section and add additional guidance
(estark37 著, 2019-04-04 23:49:46 +09:00 )
https://github.com/whatwg/url/commit/8809598ddfd1d935432c8a0cad53f13d70e24bc6