[1] 認知のときには区切子の長さの長いものが優先されるわけですが。

例えば

         DELIM    GENERAL  SGMLREF
                  HCRO "&#38;#x"
                  SHORTREF SGMLREF

なときに、 &#xtest; はどう解釈されるんでしょう?

まず hcro ではないかと推測するが、直後が [0-9A-Fa-f]+ になっていないので、認知しない。
- A. 認知できなかったので文字データとし、 test; の解釈に移る。
- B. 認知できなかったので次に該当し得る区切子として cro (&#) を認知できるか調べる。

結論からすると B. が正しく、 XTEST という名前が定義されていればそれに展開されるようです。

[2] 認知様相と制約 - マーク付けノート 2002年2月その3 - マークの付けかた。 http://math.oheya.to/markup/notes/n0202c#day26-2 : 参考