仕様書:
| 段階 | Datatok グローブ構築処理 | 例 | 例 (catsrc=☆) |
| 1a | | ||
| 1b | グローブ根の | ||
| 2 | 原始節それぞれのデータから | ('Oregon' ' ' 'river otters' ' are cute') | |
| 3 | 原始連結分離子 ( | 〃 | ('Oregon☆ ☆river otters☆ are cute') |
| 4 | 並び中のそれぞれの文字列に字句模型を適用 | ||
| 4a | 字句模型中の一致字句模型を満足する部分文字列の並びを作成 | (('Oregon') () ('river' 'otters') ('are' 'cute')) | (('Oregon☆' '☆river' 'otters☆' 'are' 'cute')) |
| 4b | 各部分文字列は字句模型の応用の間中 | ||
| 5 | 字句連結分離子 ( | 〃 | 〃 |
| 6 | 文字列の並びの並びを展開して、文字列の1つの並びに | ('Oregon' 'river' 'otters' 'are' 'cute') | ('Oregon☆' '☆river' 'otters☆' 'are' 'cute') |
| 7 | 結果連結分離子 ( | 〃 | 〃 |
| 8a | 並び中の文字列に対応する | ||
| 8b | 各 tokenstr の特性 | ({string: 'Oregon'} {string: 'river'} {string: 'otters'} {string: 'are'} {string: 'cute'}) | ({string: 'Oregon☆'} {string: '☆river'} {string: 'otters☆'} {string: 'are'} {string: 'cute'}) |
| 8c | 各 tokenstr の特性 | ||
| 9 | グローブ根の特性 tokenstr 並びに | ||
例には、仕様書にある <state>Oregon</state> <animal>river otters</animal> are cute を使いました。
catsrc 以外の cat* も、適用される場所が違うだけで似たような結果が得られます。仕様書には例があるので、そちらを参照してください。
gcsd ISO/IEC 10744:1997//NOTATION Data Tokenizer Grove Construction Process//EN| 規格参照具象構文名 | 応用名 | 完全名 | 説明 |
| tokenized root | 結果グローブ根 | |
| tokenized string | 一つ以上の字句の文字列 | |
datatok)
仕様書: ISO/IEC 10744:1997 A.4.4.2.2 Data tokenizer notation form
NotNames ISO/IEC 10744:1997//NOTATION Data Tokenizer Grove Construction Process//EN| 名前 | 宣言型 | 既定値 | 説明 |
% | GenArc より | ||
% | GenArc より | ||
% | GenArc より | ||
% | base より | ||
% | locs より | ||
| sodeod | sodiec | isceod | isciec | inmodel | isciec | 打撃境界制約 |
| | (なし) | 原始連結分離子 |
| CDATA | (なし) | 字句連結分離子 |
| CDATA | (なし) | 結果連結分離子 |
| | (システム定義) | 最大字句寸法 |