[1] 本項では HTML と XML の構文解析器 の基礎的な概念を扱います。専ら一方のみに関係する事項は、
HTML構文解析器 とXML構文解析器 の項をご覧ください。
状態 [83] 次のような状態を持ちます。型 HTML構文解析器 またはXML構文解析器 です。入力バイトストリーム 入力ストリーム
script-created parser では書き込みが行われます。 confidence 初期値が与えられます。 挿入点
入力ストリーム 中の位置または未定義 です。
document.write 仕様書 は HTML構文解析器 にのみ定義していますが、
XML構文解析器 にも存在すると考えることで、両者の処理を統合できます。
(仕様書 でも stop parsing でXML構文解析器 であっても挿入点 次入力文字 開いている要素のスタック 現在節点 挿入モード 文書 abort 済み構文解析器のabort が行われたかどうか。
構文解析器 外部から参照されることがあります。stop parsing 済みstop parsing が行われたかどうか。
構文解析器 のフラグというよりは文書 の completely loaded フラグと解釈するのが自然かもしれません (stops parsing 参照)。
構文解析器 外部から参照されることがあります。スクリプト入れ子水準 script nesting level
document.write 仕様書 は HTML構文解析器 にのみ定義していますが、
XML構文解析器 にも存在すると考えることで、両者の処理を統合できます。 構文解析器停止フラグ parser pause flag
document.write 構文解析器 の動作停止を管理するフラグです。
初期状態では偽 に設定されます。
仕様書 は HTML構文解析器 にのみ定義していますが、
XML構文解析器 にも存在すると考えることで、両者の処理を統合できます。 素片構文解析
構文解析 が素片構文解析 モードで実行されるか否か。
現在節点 が null ではないか否かと等価。
構文解析器と文書 [10] 構文解析器 は文書 に関連付けられています。
navigate において構文解析器 を作成した時に関連付けられます。[11] 文書 から見て動作中の構文解析器 のことを(あれば)活性構文解析器 といいます。
[73] 文書 が構文解析器 を持つか否かとその状態は、
try to scroll to the fragment
で参照されます。
[12] ある構文解析器 のインスタンス が扱う文書 は1つだけです。
ただし template 要素 があるときは、雛形内容 の文書 も関係してきます。
また、スクリプト によって挿入先の要素 が別の文書 に移動された時は、その文書 に新しい節点 も挿入されることになります。 [13] 文書 に対してそれを扱う構文解析器 は1つとは限りません。例えばその文書 自体を作った構文解析器 と
innerHTML 構文解析器 は別物です。また document.open 構文解析器 が作られます。
[81] スクリプトの準備 では、script 要素 の節点文書 と script 要素 を作成した構文解析器 の文書
[82] スクリプトの準備 では、 script 要素 を作成した構文解析器 の種別 (HTML or XML )
やスクリプト入れ子水準 構文解析器 の文書 スクリプトをブロックしているスタイルシートを持つ かどうかや、
スクリプト に関するリストや集合各種も参照されます。
[100] この他、文書 には document.write の動作に関わる内部状態がいくつかあり、
構文解析器 から参照・変更されます。
[26]
文書 は、
活性構文解析器 active parser
[75]
文書 は、
活性構文解析器がabortされた active parser was aborted 偽 です。
HTML Standard 文書のabort で真 に設定されます。
document.open, document.write などに影響します。
入力 [24] 構文解析 の対象となる入力は、入力バイトストリーム (バイト列 )
または入力ストリーム (文字列 ) として構文解析器 に与えられます。
[76] バイト列 (ストリーム )[36] navigate 中は、 fetch が受信したバイト列 毎にキューに入れるタスク により、
入力バイトストリーム にバイト列 が追加されていき、構文解析 が行われます >>32 fetch がキューに入れた末尾を表すタスク により、 EOF が入力バイトストリーム に挿入されます >>32 [79] バイト列 [44] responseXML 応答 に含まれるバイト列 を入力バイトストリーム として一度に構文解析 を行います >>43 [47] document.load 応答 に含まれるバイト列 を入力バイトストリーム として一度に構文解析 を行います >>46 [45] xml-stylesheet XSLT
文書 については仕様書がなく不明です。[77] 文字列 (ストリーム )[37] document.write document.writeln 入力ストリーム の挿入点 前に文字列 を追加していき、構文解析 を行います >>33 挿入点 は入力ストリーム の末尾とは限りません。[38] document.close 入力ストリーム に EOF
を挿入します >>34 [78] 文字列 [39] parseFromString innerHTML innerHTML insertAdjacentHTML createContextualFragment >>35 insertHTML
は文字列 を入力ストリーム として一度に構文解析 を行います。[32] HTML Standard (2014-07-10 19:47:06 +09:00 版) http://www.whatwg.org/specs/web-apps/current-work/#read-html [33] HTML Standard (2014-07-10 19:47:06 +09:00 版) http://www.whatwg.org/specs/web-apps/current-work/#dom-document-write [34] HTML Standard (2014-07-10 19:47:06 +09:00 版) http://www.whatwg.org/specs/web-apps/current-work/#dom-document-close [35] DOM Parsing and Serialization Standard (2014-06-28 14:24:26 +09:00 版) https://domparsing.spec.whatwg.org/ [43] XMLHttpRequest Standard (2014-06-30 13:50:27 +09:00 版) http://xhr.spec.whatwg.org/#document-response [46] HTML Standard (2014-07-10 19:47:06 +09:00 版) http://www.whatwg.org/specs/web-apps/current-work/#dom-xmldocument-load [25] 入力がバイト列の場合は、バイト の解釈に用いる文字符号化 やロケール 、
呼び出される文脈 (navigate か XHR か) といった情報も与える必要があります。
詳しくは charset sniffing を参照。
[92] かつてはロケール が isindex 開始タグ の解釈にも影響しました。
[30] HTML構文解析器 とXML構文解析器 では、構文解析 の各段階の動作に様々な違いが生じます。
[27] HTML構文解析器 の動作は、スクリプト有効 か否かで変化します。
スクリプトフラグ を参照してください。[72] スクリプト を実装しない場合は、スクリプトが無効 な場合の動作だけ実装すれば十分です。スクリプト を実装する場合は、
スクリプトが無効 な場合とスクリプトが有効 な場合の両方を実装する必要があります。[29] innerHTML 素片構文解析 では、
文脈要素 によって構文解析 の開始の時点の状態やその後の動作が左右されます。
文脈要素 の名前や属性 の他、祖先 が影響することもあります。出力 [28] 構文解析 の結果は、開始時に指定された親 となる節点 の子孫 という形で現れます。
また、奇癖モード か否かなど、内部状態 (IDL属性 など) を変化させることもあります。
[31] また、構文解析器 は、1つ以上の構文解析エラー を発見すると、
これを報告することがあります。仕様上義務付けられてはいませんが、
Webブラウザー によっては Console に構文解析エラー を報告するようです。
スクリプト などで著者 がこれを受け取ることはできないようです。一時停止 構文解析器内部での一時停止 [2] 構文解析器 は HTML の script 終了タグ の処理の一部でイベントループをスピン することがあります。
また字句解析器 ・構文解析器 がブロック字句化器のブロック されます。これらにより、特定のスクリプト群の実行が終わるまで構文解析器 は処理を停止することになります。
script、字句化器のブロック 参照。[3] HTML構文解析器 に(のみ)は、 parser pause flag があり、このフラグが設定されている間は字句化器 の処理が止まります。
これは入れ子の document.write SVG script 要素 からの document.write 構文解析 処理をスクリプト 実行後まで遅延させるために使われています。
XML では document.write [15] XML構文解析器 で外部実体 を展開する時は、主たる構文解析を一時停止して、外部実体側の構文解析が終了したら戻ってくる形で実装することになるでしょう。
これは document.write 入力ストリーム の現在位置に外部実体側の入力ストリーム からバイト列を挿入していく形でも実装できるでしょうし、
別の構文解析器の結果を受け取って主たる構文解析器の出力に挿入する形でも実装できるでしょう。
[16] ただし HTML Standard に従うXML構文解析器 は外部実体 の展開を行いません。[52] HTML字句化器 は「各ステップ前」に parser pause flag をチェックして、
真 なら字句化 しないことになっています。「各ステップ」が何を指しているか不明瞭ですが、
parser pause flag は HTML /SVG script タグ によるスクリプト 処理の際と字句の要素の作成 でカスタム要素 を作成する際にのみ真 になることがあるものなので、
スクリプト 実行の次の字句 の取得の処理や、
次のタスク による字句化器 からの字句 の取得の処理を実行しようとした時にチェックすれば十分そうです。
[53] parser pause flag と「ブロック」は同じ動作のように見えますが、
parser pause flag はあらゆる字句化器 の呼び出しを止めるのに対し、
ブロックは別のタスク による字句化器 の呼び出しだけを止めます。
ですから、ブロック中に実行されたスクリプト によって document.write parser pause flag が真 でなければ、
その字句化 は行われます。スクリプトによる一時停止 [54] 構文解析器 によるスクリプト 実行のための一時停止以外にも、
構文解析器 から呼び出されたスクリプト の処理のためにイベントループ の実行の一時停止が発生することがあります。
当然ながらその間も構文解析器 は停止したままです。
[55] 例えばスクリプト 内部で alert イベントループ は
pause します。また showModalDialog イベントループのスピン が派生します。
[56] 明示的に実行が停止されなくても、処理の実行が長時間に渡り実質的に停止状態となることもあります。
[57] 例えば XHR を同期モードで呼び出すと、 fetch が完了するまでメソッド 呼び出しが完了しないので、
当然その間構文解析器 は停止したままです。
停止 [40] 構文解析 は、正常終了 (>>6 ) か中断 (>>4 ) のいずれかによって終了します。
[41] 構文解析 は、終了するとは限りません。鯖 から無限のバイト列 が送信され続けている場合は、
構文解析 も無限に続きます。正常終了 [6] 構文解析 の処理がすべて終了すると、 stop parsing が実行されます。
中断 [4] 構文解析器 は abort a parser が呼び出されると入力ストリーム や開いている要素のスタック を破棄します。
これによって未処理の入力は捨てられ、それ以降の字句化 が行われません。
[5] abort は、 window.close document.open navigate されて現在の文書 が破棄される場合などに呼ばれます。
[74] abort a parser を参照。[58] スクリプト は実行時間等の制限超過によって停止させられることがあります
(スクリプト の項を参照)。構文解析器 から呼び出されたスクリプト が停止された場合、
スクリプト が正常終了した場合と同じように構文解析器 の処理が再開されるものと思われます。
[59] スクリプト から呼び出した構文解析器 の処理に時間がかかるような場合、
構文解析器 の動作が途中で停止させられることもあるかもしれません。
構文解析器 から呼び出されたスクリプト からの構文解析器 の呼び出しに時間がかかる場合どのように処理されるのか謎です。
再帰的実行 [7] HTML構文解析器 (のみ)は document.write document.writeln スクリプト を介して再帰的に呼び出されることがあります。外側と内側でどちらも同じ構文解析器 ですから、
入力ストリームや種々の状態はすべて共有されています。外側の構文解析処理は、内側で行われた構文解析器への操作により発生する処理の続きとしてスクリプト終了後に継続されます。
[8] このため HTML構文解析器 はスクリプト が実行するまで続きを字句解析 ・構文解析 できません
(投機的実行はできますが)。
[9] document.write XML であっても、
DOM に反映させるとスクリプト から観測可能になってしまうので、その直前までしか処理できません。[42] ここでいう再帰的呼び出しとは、同一の構文解析器 のインスタンス がスクリプト を介して呼び出されることをいいます。
別の対象を構文解析 する別のインスタンス がスクリプト から呼び出されること
(例えば navigate によって呼び出された HTML構文解析器 の処理中にスクリプト から
innerHTML 構文解析器 が作られ、実行されること) はよくあります。再起動 [14] HTML構文解析器 (のみ)は文字符号化宣言 を発見し、処理中の文字符号化 と実際の文字符号化 が一致していないことを検出したとき、
change the encoding 処理により再起動することがあります。この再起動は、現在の文書 破棄して同じ入力バイト列に対して
navigate しなおすというかなり強引な形で行われます。スクリプト により著者 に、
レンダリング により利用者 に観測可能なこともあります。
[70] HTML構文解析器 やXML構文解析器 によって呼び出されるアプリケーションキャッシュ選択アルゴリズム も、
navigate 全体をやり直させることがあります。
構成要素 [61] 構文解析器 は次の部分で構成されます。
[62] なお、これはあくまで仕様書上の構成であって、同じ入力に対して同じ動作をする限り、
この構成に従う必要はありません。入力バイトストリーム 、入力ストリーム 字句化器 木構築器 挿入モード 開いている要素のスタック 活性書式付け要素のリスト net ネットワーク v -> ibs ibs 入力バイトストリーム -> is is 入力ストリーム -> token token 字句 列-> dom dom DOM 木 -> ibs -> script script スクリプト -> is -> net >> 2 v 字句化器と木構築器 [63] 字句化 と木構築 は、2つのほぼ独立した処理段階として規定されていますが、
いくつか例外的に両者の動作が干渉することがあります。いずれもHTML構文解析器 のみの動作です。
[64] 木構築器 の開始タグ ・終了タグ の処理が、字句化器 の状態 を変更することがあります。title plaintext 内容 を特別な方法で字句化 する要素 の処理で発生します。[65] 木構築器 の状態である調整済み現在節点 の種類により、
字句化器 がCDATA区間 を認識するかどうかが変化します。親要素 となる要素 がSVG かMathML ならCDATA区間 として字句化 され、
HTML なら注釈 として字句化 されます。[66] 開始タグ 字句の認められている斜線 が構文解析エラー となるか否かは、
木構築器 で承認されるかどうかに依存します。[67] これは一例として次のように実現できます。入力ストリーム が EOF に達するまで次の処理を繰り返す。字句化 を行う。ただし、次の条件のいずれかを満たしたら停止する。字句化器の状態 を変化させ得るタグ名 の開始タグ ・終了タグ を送出 した時マーク付け宣言開き状態 で [ CDATA [ 得られた字句 の列を木構築器 に渡して処理させる。
[94] ここで、 >>63 だけでなく、スクリプト が document.write
から入力ストリーム に介入する可能性も考慮する必要があります。
具体的には、次のものがあります。[95] HTML script 終了タグ [96] SVG script 終了タグ [97] 自律カスタム要素 の開始タグ (タグ名 に - が含まれるもの)[98] カスタム化組み込み要素 の開始タグ (isis=""
属性 が含まれるもの)
[71] アプリケーションキャッシュ選択アルゴリズム の実行タイミングにも注意が必要です。
>>67 だけでは正しく処理できないケースがあります。 (構文解析器 の動作そのものには影響しませんが、
スクリプト と fetch 経由で動作が変化する可能性はあります。)
字句化器と API [68] navigate によって、あるいはスクリプト が DOM API によって構文解析器 ・字句化器 を作成し動作させる場合以外に、
次の場合に外部から字句化器 の挙動が操作されることがあります。
これは構文解析器 中の文書 に含まれるスクリプト の実行によって呼び出されることもあれば、
他の閲覧文脈 から呼び出されることもあります。
open document.open -> write -> writeln write document.write document.writeln -> write -> close close document.close [69] 平文 への navigate や text/plain document.open 字句化器 の初期状態を
PLAINTEXT state に設定します。字句化 [84] HTML でも XML でも、文字字句 以外のすべての字句 に対応するソース上の構造は
<
[85] 文字字句 (の連続) も、 CDATA区間 の場合は < [86] 字句 より細かな字句 に類する単位としては、属性 (要素字句 内) や属性定義
(DOCTYPE字句 内の要素宣言 内) が < < [87] 特定の属性 の値によって分岐することは、字句化器 内ではありません。
[88] HTML構文解析器 の木構築器 では次の分岐があります。
meta 要素 の charset 属性 、
http-equiv 属性 、content 属性
(change the encoding )annotation-xml 要素 の encoding 属性
(MathMLテキスト統合点 )font 要素 の color 属性 、
face 属性 、size 属性
(外来要素 内)input 要素 の type 属性
("in table" 挿入モード )html 要素 の manifest 属性
(応用キャッシュ選択アルゴリズム )isindex 要素 の action 属性 、
name 属性 、prompt 属性 [89] XML構文解析器 の木構築器 では次の分岐があります。
根 html 要素 の manifest 属性
(応用キャッシュ選択アルゴリズム )名前空間属性 [90] xml:space 属性 は構文解析器 の動作には影響しません。[99] 字句の要素の作成 では次の分岐があります。カスタム化組み込み要素 の isis="" 属性 被列挙要素 の formform="" 属性 外来要素 の xmlns 属性 (構文解析エラー )外来要素 の xmlns:xlink 属性 (構文解析エラー )
[91] なお、属性 はこれ以外には、 Element 内容属性 として設定される他は、
既存の html 要素 や body 要素 に追加されるケース、
活性書式付け要素のリスト への追加時に比較されるケースがあります (いずれもHTML構文解析器 のみ)。
DOM 操作 [21] 構文解析器 によるDOM木 の操作は、基本的には DOM API
によって行われる操作と同じものですが、一部は特別な動作が定義されていることもあります。
[22] 構文解析器 による DOM 操作の動作については、次の各項を参照してください。
[23] 節点 の作成や節点 の内部状態 (IDL属性 の値) の設定
(createElementNS compatMode メソッド に相当する操作が行われます。
ownerDocument 節点 の作成時)nodeType namespaceURI localName appendChild content template lastChild テキスト の挿入時)previousSibling 里親付け でテキスト の挿入時)insertBefore 里親付け )setAttributeNS hasAttributeNS html body 開始タグ 重複時)parentNode 里親付け )remove body frameset 開始タグ 時)childNodes AAA による節点 移動時)[49] 構文解析器 による DOM の操作は、変異観察器 に報告されます。
[50] 変異イベント は発火 しません。[51] 雛形内容 は別の文書 に属するため、またスクリプト によって節点 がまったく別の文書 に移動される可能性があるため、
構文解析器 が扱う節点 が同じ文書 に属する保証はありません。
特別な動作 [60] 構文解析器 は純粋なDOM木 の構築操作の他に、次のような動作をします。
符号化の変更 (>>14 )構文解析エラー の報告文書のモードの設定 (DOCTYPEスイッチ ) 要素の作成 やスタックからの除去に付随する動作 (>>22 )スクリプト の実行 (>>48 )アプリケーションキャッシュ選択アルゴリズム [48] 構文解析器 の動作中にスクリプト が実行されることがあります。
スクリプト と構文解析器 の処理は複雑に関わっています。
詳しくは script や字句の要素の作成 の項を参照してください。 [93] スクリプト の前後には、マイクロタスク が実行されます。
構文解析器 による挿入 に伴う変異観察器 への報告 (>>49 ) は、
このタイミングで実行されます。
[80] Webブラウザー によっては、文書要素 の文書への挿入 のタイミングで内容スクリプト を実行できるかもしれません。
歴史 [17]
構文解析parsing
構文解析とは、文書 を走査し、
文書 の中に含まれている情報 を情報 が構造化 されている要素 の文脈において濾過する行為です。 XHTML 1.0 2.2. General Terms
IW:XHTML10:"general" [18] HTML構文解析器 の動作は、長らく明確に規定されていませんでしたが、
2007年頃、 Web Applications 1.0 (後の HTML5 ) によって初めて詳細な動作が記述されました。
詳しくは HTML構文解析器 を参照。 [19] XML構文解析器 の動作は、 XML 本体仕様によってごく限定的に制約が規定されていました。
より詳細な動作は XML5 (後の XML-ER ) によって HTML構文解析器 に倣って定義されましたが、
XML に対する関心の低さのため、仕様書は未完成のまま保留状態にあります。
HTML Standard にも限定的ながらXML構文解析器 の動作の規定があります。
[20] 構文解析器 を呼び出したり、操作したりする API は、
HTML Standard と DOM Parsing の両仕様書によって定義されています。
これらも長らく明確な定義が存在していませんでしたが、 WHATWG
において2007年頃から数年かけて整備されました。
[101] Ignore document.open/write after the active parser has been aborted
(foolip 著, 2019-10-16 17:25:18 +09:00 )
https://github.com/whatwg/html/commit/ead4aa8ec576d7d330a04f7ec8508e336b895fdb
[102] [ css-selectors-4] Include whitespace in non-optional `<combinator>` · Issue #7027 · w3c/csswg-drafts · GitHub2022-02-10T03:27:09.000Z https://github.com/w3c/csswg-drafts/issues/7027
[103] Hixie が形式的言語記述を避けて英語 による厳密な構文・構文解析器の記述にこだわったのはこういう混乱を避けるためだったというのがわかる一件。