字句化文字列 (tokenstring) 級 (datatok 特性集合)

[1] 特性集合 datatok の級 tokenized string (字句化文字列) (tokroot) は、字句化した結果の文字列1つ (字句1つまたは1つに連結した字句群) に使われます。

仕様書: ISO/IEC 10744?:1997 A.4.4.2.1 Data tokenizer property set <http://www.y12.doe.gov/sgml/wg8/docs/n1920/html/clause-A.4.4.html#clause-A.4.4.2.1>

[2]

規格参照具象構文名 (rcsnm)

tokenstr

応用名 (appnm)

tokenized string

完全名 (fullnm)

tokenized string

特性

特性番号	規格参照具象構文名	応用名	完全名	型	説明
1〜12	内在特性
13 (内在特性)	source (原始)			nodelist (urefnode)	対応する原始グローブの節達
14 {内容特性}	string (文字列)			string	文字列

メモ