[53]

データを構成するバイト列を検査してその内容の種別などを決定することを sniffing といいます。

型を検知する

MIME sniffing (Web)

[1] Web では、 MIME sniffing によって MIME型が決定されます。

MIME sniffing 参照。

`file(1)`

[5] file(1) 参照。

MIME magic

[97] 多くのプラットフォームに MIME magic などと称するツールがあります。これは、ファイルの先頭のバイト列から MIME型を推定するものです。

MIME magic 参照。

RDFa 処理器の Sniffing

[50] RDFa 1.1 に基づく RDFa処理器は、 MIME型によってホスト言語を決定しなければなりません。 MIME型を決定できないか未対応の時は、 application/xml としなければなりません。 >>49

[51] >>50 の直後にこれと矛盾する次のような「NOTE」があります。 MIME型が無い時、 DOCTYPE、根要素、拡張子、利用者定義の引数など追加の仕組みを用いても構いません >>49。

[49] RDFa Core 1.1 - Second Edition (2013-08-15 17:12:47 +09:00 版) http://www.w3.org/TR/rdfa-core/#h3_processorconf

IPP の Sniffing

[82]

RFC 2911 - Internet Printing Protocol/1.1: Model and Semantics (2015-02-15 17:22:27 +09:00 版) https://tools.ietf.org/html/rfc2911#section-4.1.9.1

One special type is 'application/octet-stream'. If the Printer object supports this value, the Printer object MUST be capable of auto-sensing the format of the document data using an implementation-dependent method that examines some number of octets of the document data, either as part of the create operation and/or at document processing time.

メモ

[24] Word で「打」で始まるテキストファイルを開くとコンバーターを要求される | Japan Office Client Support Blog, 2024-09-17T04:45:18.000Z, 2024-09-18T02:25:46.578Z https://officesupportjp.github.io/blog/cm15ufuis0000f0seec0i7yev/

[23] compact_enc_det/compact_enc_det/compact_enc_det.cc at master · google/compact_enc_det · GitHub, 2025-11-24T07:42:54.000Z https://github.com/google/compact_enc_det/blob/master/compact_enc_det/compact_enc_det.cc#L2288

[26] >>23 ced は文字コードの判定のライブラリーですが、文字列ではなくバイナリーであるとの判定をすることもあり、主要なファイル形式の先頭バイトパターンを知っています。

文字符号化を検知する

[10] テキストファイルの文字コードの判定の処理が必要になることがしばしばあります。いくつかのテキストファイル系ファイル形式はその手法を定めています。

[11] この処理はファイル形式の判定と同時に実装されることもあれば、別個に実装されることもあります。

[12] 全般については文字コードの判定を参照。

[13] ファイル形式中立の記述法については >>3 を参照。

符号化 sniffing (Web)

encoding sniffing algorithm

その他のファイル形式の sniffing

[25] RFC 4627 が JSON の charset sniffing について言及しています。 JSON

[35] SRGS の ABNF形が XML と同等の sniffing を求めています。 #ABNF

特別な記述を検出する手法

[3]

テキストファイルの内なるメタ情報

shebang
魔法行
ファイル変数
- -*-
- -*- coding -*-
vim:
SPDX-License-Identifier:
BOM
「魔法」注釈
#VRML
#X3D
#ABNF

テキストファイル, テキストファイルの先頭, コメントの中身が意味を持ってしまう

セキュリティー

[16] sniffing の相互運用性の問題は、そのままセキュリティーの問題となります。

[17] とりわけ、安全と考えられているファイル形式が危険なファイル形式と(誤)判定され得る状況は、しばしば悪用されます。

[18] 故に、

[19] 可能なら sniffing は避けること
[20] sniffing が不可避なら、仕様書で明確に挙動を規定すること
[22] sniffing 結果次第で安全性に違いが生じ得るときは、その危険の程度を把握して当事者 (標準化の担当者、実装者および通信の当事者) で認識を共有すること
[21] 実装は仕様書が定めた挙動に厳密に従うこと

はセキュリティーのために極めて重要と考えられています。

[2] 入力が短すぎるときの処置が正しくない実装がしばしばみられます。所与のパターンとの比較時にパターンより短い入力を想定し忘れているような類です。バッファーオーバーフローなど深刻な不具合となることもあり、特に注意が必要です。

[4] 入力が長すぎる場合にも注意が必要です。例えば数GBのファイルの全体を判定するため全体をメモリー上に載せるのは無駄であり、適当なところで打ち切るのが妥当です。

[6] 無限の入力を扱い得るプラットフォームでは、処理が終了しなくなることがないよう、特に注意が必要です。

[7] 行を単位とする処理が必要な場合にも行が長すぎる場合の考慮を忘れがちなので、注意が必要です。

[8] 行を期待する処理にバイナリーデータが入力されたとき、当該バイナリーデータには改行コードが含まれないかもしれません。

資源ヘッダー

文字のセキュリティー