パースエラー時の挙動はブラウザによって異なります。IEとGeckoについては「JavaScriptでXMLを扱う方法」で解説しているものと全く同様の挙動です。すなわち、MSXMLではDOMDocumentのparseErrorプロパティにエラー情報が格納され、 Geckoでは特にエラーらしい挙動が起こらない代わりにエラー情報を含む特殊なXMLが読み込まれます。KHTML/Operaでは現在の所パースエラーを検知する方法は存在しないらしく、documentElement プロパティがnullかどうかで判断するよりないようです。
リソースがresponseXMLによってDOMDocumentに変換可能かどうかはメディアタイプで判断されます。私が調べた限り、変換可能なメディアタイプは以下のようになります。
IE text/xml, application/xml Gecko text/xml, application/xml, application/xhtml+xml KHTML text/xml, application/xml, application/xhtml+xml Opera 無制限 image/gif 等でも変換できるOpera(8.0 beta3現在)を除き、text/html や application/rdf+xml 等にはいずれのブラウザも対応していません。サーバサイドのプログラムで動的にヘッダを送信する場合などには、text/xml や application/xml を用いるのが賢明でしょう。
なお、変換不能なメディアタイプが指定されていた場合、GeckoとKHTMLでは responseXML 自体が null となり、IEでは documentElement が null となります。