制御文字

[2] 文字のうち、制御機能を表すものを制御文字 (せいぎょもじ) (control characters) といいます。

仕様書

[61] The Unicode Standard, Version 13.0 - ch02.pdf, 2020-03-09T17:53:32.000Z, 2020-12-20T08:35:03.323Z https://www.unicode.org/versions/latest/ch02.pdf#G14527
[59] The Unicode Standard, Version 13.0 - ch03.pdf, 2020-03-09T17:53:34.000Z, 2020-12-20T02:08:18.239Z https://www.unicode.org/versions/latest/ch03.pdf#G2212
[26] The Unicode Standard, Version 13.0 - ch23.pdf, 2020-03-09T17:53:52.000Z, 2020-12-09T08:44:21.291Z https://www.unicode.org/versions/latest/ch23.pdf#G20365
[15] RFC 7564 - PRECIS Framework: Preparation, Enforcement, and Comparison of Internationalized Strings in Application Protocols (2015-12-21 04:49:41 +09:00 版) https://tools.ietf.org/html/rfc7564#section-9.12

意味

[3] ISO文字コード体系では、文字は制御文字と図形文字に分かれていました。

[6] 制御機能のうち、 1つの文字で表されるものが制御文字でした。他に複数の文字で表わされるものもありました。制御機能

[1]

制御文字 (control character)
一つのビット組合せだけで表現する制御機能。

JIS X 0211‐1994 4.2.22, JIS X 0202:1998 4.9, JIS X 0201:1997 3.6

文脈

[20] 歴史的に様々な制御文字が定義され使われていました。現在使われているのは CR, LF, NULL くらいです。改行や文字列末尾を表します。

[21] 個々の制御文字の用法は、それぞれの項を参照。

Unicode の制御文字

[60] 制御 (せいぎょ) (Control) は、符号点型の1つです。 >>59 D10a General Category Cc と同義です >>61。

[27] Unicode には、 U+0000 - U+001F, U+007F - U+009F の65個の制御文字の符号位置があります。 >>26

[28] この符号位置は、 ISO/IEC 2022 の体系の C0制御文字 0/0 - 1/15、 DELETE 7/15、 C1制御文字 8/0 - 9/15 との互換性のために設定されたものとされます。 >>26

[62] 符号点型 Control の符号点の一覧 https://chars.suikawiki.org/set/%24unicode%3Acontrol

制御文字符号位置の意味

[29] The Unicode Standard は、これらの制御文字の符号位置は従前の意味 (semantics) そのままに使えるものであって、それを使う応用依存で意味が決まります。用法は上位層プロトコル依存であり、 The Unicode Standard の適用範囲外です。応用の特定の用法がない場合には、 ISO/IEC 6429:1992 の制御機能の意味に従って解釈できます。上位層プロトコルの存在については情報交換の当事者間の合意によらなければ決められません。 >>26

[30] 一例として、 bidi の制御に ISO/IEC 6429 制御列を使うという選択は、 The Unicode Standard の平文に対する上位層プロトコル層となります。 >>26

[31] 現在では bidi の制御は普通 Unicode のアルゴリズムか、それを活用した上位層プロトコルによって行うので、 ISO/IEC 6429 の手法を使うのは現実的な例ではありませんが、この規定が書かれた当時はそうではなかったのでしょう。

[32] なぜ敢えて制御文字だけ Unicode は自身で規定せずに曖昧に従来手法に委ねているのか謎ですが、 Unicode が作られた当時はまだ各種の制御文字集合がよく使われていたのでしょうか。 1980年代くらいには ISO文字コードの体系では制御文字集合と図形文字集合の分離が当然になっていました。その延長線上の設計なのでしょうか。

[39] 一部の制御符号は、平文でよく使われていて普及していて相互運用性に重要なため >>26 としてその性質が定義されています。応用依存との説明とは裏腹に、まったく自由に使えるということではないようです。

[46] ISO/IEC 10646 は、同じような、微妙に違う規定をしていました。「JIS X 0211 又は同様な構造の制御機能の規格及びこれらから導出された規格に従って符号化された制御機能」が使えるとしていました >>48。

[45] The Unicode Standard は、 10個の符号位置を、「The Unicode Standard で規定された制御符号」として挙げています >>26。

[40] U+0009 - U+000D, U+001C - U+001F, U+0085 は、 Bidi_Class が S, B, WS のいずれかで、 bidi アルゴリズム的にそれぞれの挙動を示します。 (それ以外の制御符号は BN です。) >>26
[41] U+0009 - U+000D, U+0085 は、 White_Space 特性を持ちます。改行に関係する特性値も持ちます。 >>26

[57] The Unicode Standard が規定しているという制御文字の一覧 https://chars.suikawiki.org/set/%24unicode%3Acontrol-codes-specified

[42] C言語で文字列の終端に使われる U+0000 NULL も The Unicode Standard で特に言及されていますが、 Unicode 的には適用範囲外とされており >>26、特別な挙動は規定されていません。

[43] U+000A, U+000D, U+0085 は newline function を表すために使うことができますが、具体的にどうするかは応用の裁量とされています。 >>26

[44] つまり Unicode 初期開発当時はもちろん現在に至ってもなお深刻な相互運用性の問題である改行コードの選択の問題にノータッチであろうとしています。 (正確には LS や PS で更に問題を悪化させたのですが...)

符号位置との対応

[33] ISO/IEC 2022 の体系の制御機能は、 7ビット符号や8ビット符号のバイト列として定義されていました。 Unicode では、そのバイト列と数値的に等しい符号位置列によって表します。 >>26

[35] 制御文字 0/10 は、 Unicode文字 U+000A で表します。この Unicode文字は UTF-8 では 0x0A、 UTF-16BE では 0x00 0x0A、 UTF-32LE では 0x0A 0x00 0x00 0x00 で表します。

[47] ISO/IEC 10646 は、 JIS X 0211 の制御文字を、「オクテット数 () と一致するように詰め込まなければならない」のであって、「最下位オクテットは, JIS X 0211 で規定されたビット組合せとし, 上位のオクテットは, すべて 0 とする」としていました >>48。任意の制御文字を対象とする Unicode とは違って、 ISO/IEC 6429 に対象を限定しているところが違い、少し慎重です。

[34] ISO/IEC 2022 の体系のエスケープシーケンスを、 Unicode は上位層プロトコルの一種として扱っています。 Unicode では、エスケープシーケンスに相当する ASCII文字列と数値的に等しい符号位置列によって表します。 >>26

[36] ISO文字コードの世界の定義ではエスケープシーケンスを構成するバイトは、あくまで制御機能の一部のビット組合せであって、それに相当する ASCII文字ではありませんでした。例えば 0x1B 0x41 は文字 ESCAPE と終端バイト 4/1 であって、2バイト目は A ではありませんでした。これを「ESC A」と呼ぶのは俗解か便宜的な表記に過ぎませんでした。

[37] Unicode は ISO/IEC 2022 の構造に組み込まれていたエスケープシーケンスを、意図的かどうか知りませんが、ASCII文字列に読み替えて扱うことで、 Unicode文字列の「上位層プロトコル」にすり替えています。 Unicode にとってエスケープシーケンスは SGML のタグと同じようなものだということです。

[49] ISO/IEC 10646 は、「符号化制御文字の後に 20〜7F の範囲にあるビット組合せが続く形のエスケープシーケンス, 制御シーケンス及び制御列 (JIS X 0211 参照)」の各ビット組合せも 00 の値をもつオクテットを詰め込むと規定していました。 >>48 Unicode の規定と同趣旨ながら、さすがに ISO/IEC の規格だけあって ISO/IEC 2022 の概念の扱いは Unicode よりはるかに正確です。

[50] Unicode は、 Unicode の U+0000 - U+007F を制御機能の表現に使うことができるという立場を採っています。

[51] 一方で ISO/IEC 10646 は、 ISO/IEC 6429 の制御機能のビット組合せに特定の操作を行うことで、 UCS-2, UCS-4, 各種 UTF で利用できるという立て付けにしていて、その操作をしたビット組合せが ISO/IEC 10646 の符号位置の列であるとは言っていません。つまりビット組合せ 4/1 が 0x00000041 で表現されたとしても、それが U+0041 (LATIN CAPITAL LETTER A) であるとは言っていません。

[38] なお Unicode のいう「バイト列と数値的に等しい符号位置列」や ISO/IEC 10646 のいう 0を「詰め込む」とは同形復号操作に相当するものです。

[52] ISO/IEC 6429 の制御機能の多くは「文字」に関する動作を定義しています。その解釈は「応用が選択したこの規格ISO/IEC 10646の要素の種類」に依存するのであって、基底文字と結合文字の一方でも両方でも、合成列でもその他でも良い >>48 注記のだといいます。つまりほとんどすべて実装依存とされています。 ISO/IEC 10646 はこのように標準化を放棄していて、 Unicode は上位層プロトコルの問題だと無視しています。当の ISO/IEC 6429 にも規定はありません。誰も相互運用性には興味を持っていないようです。

[53] ISO/IEC 2022 の符号拡張制御機能 (指示シーケンス、単独シフト、固定シフト) は、 ISO/IEC 10646 で使ってはなりません。 >>48

[54] この規定は ISO/IEC 10646 にはありますが、 Unicode は上位層プロトコルの問題だと無視しています。エスケープシーケンスなどの制御機能が組み込まれた符号化文字集合を想定する ISO文字コードの体系からつまみ食いして上位層プロトコルに換骨した Unicode が何も規定しないのは無責任に感じますが...

[55] 指示シーケンスが禁止されているということは、 C0文字集合やC1文字集合を指示することもできないように思えますが、指示シーケンスを利用できることは明示的に ISO/IEC 10646 で規定されています。さらに、 DOCS も規定されています。すると禁止されているのは図形文字集合の指示シーケンスのみと解するべきでしょうか。

[56] ISO/IEC 10646 で使うエスケープシーケンスについては、 ISO/IEC 10646におけるエスケープシーケンス参照。

制御文字集合

[7] 制御文字の集合を制御文字集合 (control character set) といいます。

[8] 制御文字集合にはC0文字集合とC1文字集合があります。

[9] 制御文字集合に属さないで使われる制御文字として DELETE があります。

desc: 説明
type: 種別
note: メモ

desc: LS0, LS1
type: C0
note: KS X 1011 7単位符号

desc: SS2
type: C1
note: JIS X 0213 7ビット符号

desc: GB 8565.3 C0
type: C0

desc: GB 8565.3 C1
type: C1

desc: ISIRI 2900 CL領域
type: C0

desc: ISIRI 3342 CR領域
type: C0

desc: KS X 1001 制御文字
type: C0

desc: KS X 1003 制御文字
type: C0

文字カテゴリー `Controls` (`L`)

[16] PRECIS の文字カテゴリー Controls (L) は、制御文字をすべて含むものです >>15。

[17] L: Control(cp) = True と定義されています >>15 が、 Unicode に Control という特性はなく、何を指しているのか定かではありません。

制御文字の一覧

[11] ISO-IR には沢山の制御文字集合が登録されています。

[12] その殆どは既に使われなくなっています。

略号1

略号2

名前

IR001

IR007

IR026

IR036

IR040

IR048

IR056

IR067

IR073

IR074

IR077

IR104

IR105

IR106

IR107

IR124

IR130

IR132

IR133

IR134

IR135

IR136

IR140

ESC+

UCS

ACK

ACKNOWLEDGE

APA

ACTIVE POSITION ADDRESS

APB

ACTIVE POSITION BACKWARD

APD

ACTIVE POSITION DOWN

APF

ACTIVE POSITION FORWARD

APH

ACTIVE POSITION HOME

APR

ACTIVE POSITION RETURN

APS

ACTIVE POSITION SET

APU

ACTIVE POSITION UP

ABK

ALPHA BLACK

ANB

ALPHA BLUE

ANC

ALPHA CYAN

ANG

ALPHA GREEN

ANM

ALPHA MAGENTA

ANR

ALPHA RED

ANW

ALPHA WHITE

ANY

ALPHA YELLOW

APC

APPLICATION PROGRAM COMMAND

COL

BACKGROUND OR FOREGROUND COLOR

BACKSPACE

BEL

BELL

BBD

BLACK BACKGROUND

BKB

BLACK BACKGROUND

BKF

BLACK FOREGROUND

BSTA

BLINK START

BSTO

BLINK STOP

BLB

BLUE BACKGROUND

BLF

BLUE FOREGROUND

BPH

BREAK PERMITTED HERE

CAN

CANCEL CHARACTER

CCH

CANCEL CHARACTER

CARRIAGE RETURN

HTS

CHARACTER TABULATION SET

HTJ

CHARACTER TABULATION WITH JUSTIFICATION

CLEAR SCREEN

CUS

CLOSE-UP FOR SORTING

CMD

CODING METHOD DELIMITER

CDY

CONCEAL DISPLAY

CDC

CONCEAL DISPLAY CONTROL

CSI

CONTROL SEQUENCE INTRODUCER

COF

CURSOR OFF

CON

CURSOR ON

CNB

CYAN BACKGROUND

CNF

CYAN FOREGROUND

DLE

DATA LINKING ESCAPE

DEFD

DEFINE DRCS

DEPM

DEFINE MACRO

DEFP

DEFINE P-MACRO

DEFX

DEFINE TEXTURE

DEFT

DEFINE TRANSMIT-MACRO

DEL

DELETE

DC4

DEVICE CONTROL FOUR

DC1

DEVICE CONTROL ONE

DCS

DEVICE CONTROL STRING

DC3

DEVICE CONTROL THREE

DC2

DEVICE CONTROL TWO

DMI

DISABLE MANUAL INPUT

DBH

DOUBLE HEIGHT

DBS

DOUBLE SIZE

DBW

DOUBLE WIDTH

EDC4

EDC FOUR

EDC1

EDC ONE

EDC3

EDC THREE

EDC2

EDC TWO

EAB

EMBEDING ANNOTATION BEGINNING

EAE

EMBEDING ANNOTATION END

EMI

ENABLE MANUAL INPUT

END

EBX

END BOX

EPA

END OF GUARDED AREA

ECD

END OF INSTRUCTION

END OF MEDIUM

ESA

END OF SELECTED AREA

ETX

END OF TEXT

EOT

END OF TRANSMISSION

ETB

END OF TRANSMISSION BLOCK

ENQ

ENQUIRY

ESC

ESCAPE

FIL

FIL CHARACTER

FILE SEPARATOR

FLC

FLASH CURSOR

FSH

FLASHING

FLC

FLASHING CONTROL

FT1

FONT 1

FT2

FONT 2

FT3

FONT 3

FORM FEED

FE0(BS)

FORMAT EFFECTOR 0 (BACKSPACE)

FE1(HT)

FORMAT EFFECTOR 1 (HORISONTAL TABULATION)

FE2(LF)

FORMAT EFFECTOR 2 (LINE FEED)

FE3(VT)

FORMAT EFFECTOR 3 (VERTICAL TABULATION)

FE4(FF)

FORMAT EFFECTOR 4 (FORM FEED)

FE5(CR)

FORMAT EFFECTOR 5 (CARRIAGE RETURN)

FORMATTING

GRB

GREEN BACKGROUND

GRF

GREEN FOREGROUND

GROUP SEPARATOR

HMS

HOLD MOSAIC

HORIZONTAL TABULATION

HTS

HORIZONTAL TABULATION SET

HTJ

HORIZONTAL TABULATION WITH JUSTIFICATION

ISI

IDENTIFICATION NUMBER-IN-CONTEXT INDICATOR

IND

INDEX

INC

INDICATOR FOR NON-STANDARD CHARACTER

IS1

INFORMATION SEPARATOR 1

IS1(US)

INFORMATION SEPARATOR 1 (UNIT SEPARATOR)

IS2

INFORMATION SEPARATOR 2

IS2(RS)

INFORMATION SEPARATOR 2 (RECODE SEPARATOR)

IS3

INFORMATION SEPARATOR 3

IS3(GS)

INFORMATION SEPARATOR 3 (GROUP SEPARATOR)

IS4

INFORMATION SEPARATOR 4

IS4(FS)

INFORMATION SEPARATOR 4 (FILE SEPARATOR)

INT

INTERRUPT

ISB

ITEM SPECIFICATION BEGINNING

ISE

ITEM SPECIFICATION END

IPO

IVERTED POLARITY

JUSTIFY

KWB

KEYWORD BEGINNING

KWE

KEYWORD END

KILL WORD

LINE FEED

VTS

LINE TABULATION SET

LS1

LOCKING SHIFT ONE

LS3

LOCKING SHIFT THREE

LS3R

LOCKING SHIFT THREE RIGHT

LS2

LOCKING SHIFT TWO

LS2R

LOCKING SHIFT TWO RIGHT

LS0

LOCKING SHIFT ZERO

LOWER RAIL

MGF

MAGENDA FOREGROUND

MGB

MAGENTA BACKGROUND

MSZ

MEDIUM SIZE

METX

MEDIUM TEXT

MESSAGE WAITING

MBK

MOSAIC BKACK

MSB

MOSAIC BLUE

MSC

MOSAIC CYAN

MSG

MOSAIC GREN

MSM

MOSAIC MAGENTA

MSR

MOSAIC RED

MSW

MOSAIC WHITE

MSY

MOSAIC YELLOW

NAK

NEGATIVE ACKNOWLEDGE

NBD

NEW BACKGROUND

NEL

NEXT LINE

NBH

NO BREAK HERE

NSB

NON-SORTING CHARACTER(S) BEGINNING

NSE

NON-SORTING CHARACTER(S) END

NPO

NORMAL POLARITY

NSZ

NORMAL SIZE

NOTX

NORMAL TEXT

NORV

NORMAL VIDEO

NSR

NOW SELECTIVE RESET

NUL

NULL

OSC

OPERATING SYSTEM COMMAND

OSC

OPTIONAL SYLLABICATION CONTROL

PLD

PARTIAL LINE DOWN

PLU

PARTIAL LINE UP

PSB

PERMUTATION STRING BEGINNING

PSE

PERMUTATION STRING END

P-MACRO

PHOTO MACRO

PRIVACY MESSAGE

PU1

PRIVATE USE ONE

PU2

PRIVATE USE TWO

PRO

PROTECT

PRT

PROTECTED

QUAD CENTURE

QUAD LEFT

QUAD RIGHT

RECODE SEPARATOR

RDB

RED BACKGROUND

RDF

RED FOREGROUND

RMS

RELEASE MOSAIC

REP

REPEAT

RPT

REPEAT

RPC

REPEAT CONTROL

REPE

REPEAT TO END OF LINE

RIS

RESET TO INITIAL STATE

REVERSE INDEX

REVERSE LINE FEED

REVV

REVERSE VIDEO

SCOF

SCROLL OFF

SCON

SCROLL ON

SSB

SECONDARY SORTING VALUE BEGINNING

SSE

SECONDARY SORTING VALUE END

SDS

SERVICE DELIMITER CHARACTER

STS

SET TRANSMIT STATE

SHIFT IN

SHIFT OUT

SCI

SINGLE CHARACTER INTRODUCER

SS3

SINGLE SHIFT THREE

SS2

SINGLE SHIFT TWO

NSZ

SINGLE SIZE

SZX

SIZE CONTROL

SSZ

SMALL SIZE

SMTX

SMALL TEXT

SGCI

SINGLE GRAPHIC CHARACTER INTRODUCER

SIB

SORTING INTERPOLATION BEGINNING

SIE

SORTING INTERPOLATION END

SBX

START BOX

SPL

START LINING

STL

START LINING

SPA

START OF GUARDED AREA

SOH

START OF HEADING

SCD

START OF INSTRUCTION

SSA

START OF SELECTED AREA

SOS

START OF STRING

STX

START OF TEXT

STD

STEADY

STC

STEADY CURSOR

SCD

STOP CONCEAL

SPL

STOP LINING

STL

STOP LINING

STRING TERMINATOR

SUB

SUBSTITUTE

SUPER SHIFT

SYN

SYNCHRONOUS IDLE

TCI

TAG-IN-CONTEXT INDICATOR

TC1(SOH)

TRANSMISSION CONTROL CHARACTER 1 (START OF HEADING)

TC10(ETB)

TRANSMISSION CONTROL CHARACTER 10 (END OF TRANSMISSION BLOCK)

TC2(STX)

TRANSMISSION CONTROL CHARACTER 2 (START OF TEXT)

TC3(ETX)

TRANSMISSION CONTROL CHARACTER 3 (END OF TEXT)

TC4(EOT)

TRANSMISSION CONTROL CHARACTER 4 (END OF TRANSMISSION)

TC5(ENQ)

TRANSMISSION CONTROL CHARACTER 5 (ENQUIRY)

TC6(ACK)

TRANSMISSION CONTROL CHARACTER 6 (ACKNOWLEDGE)

TC7(DLE)

TRANSMISSION CONTROL CHARACTER 7 (DATA LINK ESCAPE)

TC8(NAK)

TRANSMISSION CONTROL CHARACTER 8 (NOGATIVE ACKNOWLEDGE)

TC9(SYN)

TRANSMISSION CONTROL CHARACTER 9 (SYNCHRONUS IDLE)

TRB

TRANSPARENT BACKGROUND

USTA

UNDERLINE START

USTO

UNDERLINE STOP

UNIT SEPARATOR

UNP

UNPROTECT

UNP

UNPROTECTED

UPPER RAIL

VERTICAL TABULATION

VTS

VERTICAL TABULATION SET

WHB

WHITE BACKGROUND

WHF

WHITE FOREGROUND

WWOF

WORD WRAP OFF

WWON

WORD WRAP ON

YLB

YELLOW BACKGROUND

YLF

YELLOW FOREGROUND

[10] なお SPACE は現在では制御文字ではなく図形文字に分類されています。

[64] Federal Information Processing Standards Publication: additional controls for use with American national standard code for information interchange - fipspub86-1981.pdf, 2017-12-12T17:05:15.000Z, 2022-03-23T03:40:19.394Z https://nvlpubs.nist.gov/nistpubs/Legacy/FIPS/fipspub86-1981.pdf

引数

[72] 制御文字やその他の制御機能のいくつかは、直後に引数となるバイト列を承けることがあります。制御機能

レンダリング

[68] Man page of CONSOLE_CODES, 2022-04-29T09:33:30.000Z, 2022-04-30T09:58:07.331Z https://linuxjm.osdn.jp/html/LDP_man-pages/man4/console_codes.4.html

[73] 図形表現 ISO 2047

処理

ISO/IEC 2022 のエラー処理の項も参照

[69] 未知の制御文字に遭遇したときどう処理するべきか、仕様上定かではありません。既知の制御文字の中には続くいくつかのバイトの解釈を変えてしまうものや、固定シフトのように符号構造に関与するものもありますから、当該制御文字だけ無視すれば良いというものでもなく、それ以後すべてのバイトの解釈が不定になってしまうのです。

[70] ISO-IR に今後新たな制御文字集合が登録される可能性は低いですし、既存の ISO文字コード体系の制御文字集合が改定により変更される可能性も低いです。 ISO/IEC 10646 や Unicode の制御文字の符号位置についても、現行仕様と異なる形に変更される可能性はないといって良さそうです。従って、それらに該当する制御文字は、既に規定されている特殊な挙動以外は (現在未割当のビット組合せも含めて) 特殊な効果を持たない不透明な文字として扱って構わないと考えられます。