内部表現

[1] 内部表現、内部コード (内部符号) は、内部用のデータの表現です。

[2] 「内部」とは系 (システム) の内側を表しますが、具体的にどこからどこまで、どのような単位、粒度を同じ系の内側と見なすかは、文脈によります。

[4] 内部表現は情報処理に適した形態が選ばれます。プラットフォームや個々の実装によって異なり得ます。

内部コード (文字コード)

[11] 一般的な外部コードと同じものが内部コードとして使われることもよくあります。

[12] Unicode と PUA や非文字を組合せて内部コードとして使うこともあります。 WTF-8 や surrogateescape などサロゲートを内部コードで使うこともあります。

[6] 一般的な文字コード規格を使うことがほとんどの外部コードと違って内部コードにはいろいろな特徴、処理系特有の工夫があったりします。

[7] 負数の文字コードで EOF その他の処理中の特殊機能を表すことがあります。文字コード規格に含まれる制御文字とも違った役割を持ちます。

[14] どのような内部符号を使うにせよ、外部符号との接点で確実に変換する必要があります。プログラミング言語の文字列型とバイト列型のように構造上明確に違いを表現できるプラットフォームもあれば、不明瞭なプラットフォームもあるので、開発者は注意する必要があります。

[15] 内部符号として特別な機能を持つ値が意図せず外部符号として入出力されないよう、注意が必要です。さもなければ深刻な不具合、ときにセキュリティーの問題を将来することになります。

[16] 特に >>12 のような場合にはこれを漏らしがちなので十分な注意が必要です。

[8] skf の内部コードは UTF-32 と言語符号で構成されます。また、 EOF 等の処理用の符号をいくつか負数で利用しています。サロゲートを本来と異なる内部処理用に使っています。 skf skf_2.00.17.tar.xz の doc/2.internal_code.txt

[10] >>9 w3m-m17n の内部符号。 ISO/IEC 2022, Big5, GBK, Unicode などを扱い得る 1-6バイト可変長符号。