[3] ファイル名における文字の取り扱いは難しい問題です。

文字コード

[18] ファイル名が文字列なのかバイト列なのか問題文字としてのバイトがあります。

[20] 表示と安全性については識別子文字、ファイル名安全も参照。

文字の制限

[4] 多くのファイル・システムやその実装では、その環境で使える文字の全てかファイル名に使えるわけではない。例えば、 FAT や NTFS ではディレクトリ (フォルダ) 区切子として使われる \ を名前に使うことが出来ない。

[1] 特別なファイル名も参照。

大文字と小文字

[5] ファイル名における大文字と小文字の取り扱いは、 プラットフォームとファイルシステムに依存する複雑な問題です。

[6] 大文字と小文字の違いは、単にそのプラットフォーム内部だけの問題に留まりません。 例えば大文字と小文字を区別しないプラットフォームで作られた HTML文書中の相対URL に大文字と小文字の違いを気にしないでファイル名を書くと、 区別されるプラットフォームに移動したときにリンクが機能しなくなります。

[7] 比較 (ファイルの参照やファイル名の衝突の判定) において大文字と小文字を区別するかという問題と、 ファイル名が大文字と小文字を正規化した状態で保存されるかという問題があります。

[8] その他に比較的軽微な問題として、 大文字と小文字のみ異なる改名が可能かどうか、 整列でどう扱われるかなどの問題もあります。

[9] 当該ファイルシステムでどのような文字コードを使うかにより、 大文字と小文字の変換や同一視が行われる文字集合の範囲も変わってきます。 ロケール等で異なる大文字と小文字の扱いや、 Unicodeの版による違いをファイルシステムやプラットフォームの API でどう扱うかも問題になってきます。

[10] ファイルシステムをまたがる移動、 書庫ファイルやネットワークによる転送などで、 取り扱いの違いが問題となることがあります。

[11] 例えばファイル名をすべて大文字に置き換える必要が生じたり、 2つのファイルのファイル名が衝突するので保存できなかったりします。

[12] ファイルシステムによっては長いファイル名と短いファイル名のような異なるファイル名を1つのファイルに与えることが出来る場合がありますが、 ファイル名ごとに適用される規則が違うことがあります。

[36] 識別子文字も参照。

[21] ISO 9660 では大文字と小文字を区別しません。

[23] OpenVMS の ODS-2, NetWare の NSS, NWFS も区別しないとのこと。

[22] APFS は大文字と小文字を区別しないモード (既定値) と区別するモードがあります。

[24] OpenVMS の ODS-5 も両モードあって区別しないのが既定値とのこと。

[25] HFS+ の既定値は不区別、 case-preserving で、区別するモードもある。

[31] NTFS は不区別、 case-preserving で、フォルダー単位で区別させることもできる。 >>30

[33] ext4 は区別しますが、ディレクトリー単位で区別させないこともできます。 >>32

[19] ファイルシステムと大文字小文字 #case-sensitive - Qiita, https://qiita.com/jokester/items/f8a106832af2d3eb3436

[42] Using the Linux kernel's Case-insensitive feature in Ext4, https://www.collabora.com/news-and-blog/blog/2020/08/27/using-the-linux-kernel-case-insensitive-feature-in-ext4/

[29] FAT など古くからあるファイルシステムではASCII大文字・小文字不区別。

[27] NTFS は初期化時に作られる $UpCase ファイルで大文字と小文字の関係を決めている。 初期化に使ったプラットフォームが持っている対応表が反映される。 >>28, >>26

[44] トルコ文字と case insensitive filesystem - 彷徨えるフジワラ, https://flying-foozy.hatenablog.com/entry/20120102/1325473117

[43] Internationalization for the NFSv4 Protocols, David Noveck, , https://www.ietf.org/archive/id/draft-ietf-nfsv4-internationalization-07.html#section-6.3

正規化

[37] 識別子文字も参照。

[38] Unicode正規化は破壊的処理なので要注意です。

[39] HFS+ はデータ破壊を避けるために独自の手法を使っています。 HFS+のNFD

[40] >>34 >>35 は NFC と full case folding を採用しています。

[41] >>40 本当に実装されているのかは謎。まあこれはファイルの要件なので、 意図的にそういうファイルを作ろうとしなければ自然に満たせる、か?

[45] case の insensitive と preserve - 彷徨えるフジワラ, https://flying-foozy.hatenablog.com/entry/20120104/1325657430

プラットフォームとファイルシステムの事情

MIME ファイル名

[2] filename="" も参照。

ZIP ファイル

[160] ZIPファイルでは歴史的に様々な文字コードが使われてきました。 他の分野と比較しても UTF-8 の普及が遅く、現在も UTF-8 と旧来の文字コードが混在して使われ続けています。

[161] ZIPファイルで文字コードが問題となる箇所は、

です。

[166] この他にファイルの内容にも当然のことながら文字コードに依存したデータ (= テキストファイル) が含まれる可能性はありますが、 ZIPファイルには (少なくても標準的には) ファイルの内容の文字コードを記述する方法 (MIME の Content-Type charset に相当するもの) がありません。「ZIPファイルの処理」の範疇では、 ZIPファイルに含まれるファイルの内容はバイト列として扱われるだけであり、 その文字コードが問題となることはありません。

[167] ZIP には「ZIPファイル全体の文字コード」のような概念はありません。

[168] 格納される各ファイルにファイル名があり、それは何らかの文字コードで記述されています。

[169] 注釈や合言葉も文字コードが関係してきますが、 あまり問題とされることは少ないようで、ファイル名が ZIPファイルにおける文字コードの主要な問題領域となっています。

[299] 合言葉は AES 暗号化方式と ZipCrypto の2種類の暗号化方式に関係しますが、 前者では UTF-8 固定であるのに対し、後者は実装依存であり、 現実的に考えてファイル名と同じ文字コードが使われていると考えられます。 従ってファイル名の文字コードが判定文字コードの判定できれば、 それを使って合言葉の試行ができます。

変遷の概略

[170] ZIP は元々米国で DOS 向けの製品として開発されました。そのため、 現在の ZIP 仕様書にも

D.1 The ZIP format has historically supported only the original IBM PC character encoding set, commonly referred to as IBM Code Page 437. This limits storing file name characters to only those within the original MS-DOS range of values and does not properly support file names in other character encodings, or languages.

と説明されています >>159。 つまり CP437 が ZIP の本来の文字コードであるとされます。 CP437 は米国市場等の MS-DOS で使われていたコードページです。

[53] 程なくして ZIP は米国以外の諸国の DOS でも使われるようになりました。 米国版もその他の版も、おそらく文字コードの変換は一切なく、 プラットフォームのファイル名をそのまま格納したり、 逆にそのままZIPファイルから展開したりしていたと推測されます。 そのため各国で自国の MS-DOS の採用するOEMコードページをファイル名とする ZIPファイルが流通することになりました。

[54] 例えば日本の DOS 系プラットフォームでは CP932 が使われてきました。

[171] Windows の時代になると、 Windows が採用する ANSIコードページがファイル名に使われるようにもなりました。 しかし MS-DOS との互換性のため、 OEMコードページも使われ続けました。

[172] 更に時代が進むと、 UTF-8 がファイル名に使われるようにもなりました。

[55] 時代の変化を踏まえて ZIP の公式仕様にも変更がありました。 general purpose bit 11 を使って UTF-8 を使うことが明示できるようになりました。

  • [159] , https://pkware.cachefly.net/webdocs/casestudies/APPNOTE.TXT#:~:text=APPENDIX%20D%20-%20Language%20Encoding

データ構造

[173] ZIPファイルには、格納するファイルごとにファイル名その他の情報を記述できます。

general purpose bit 11

[174] general purpose bit 11 (0x0800) は、ファイル名等が UTF-8 で符号化されているかどうかを表します。

[175] 11 が設定されていないときは、ファイル名と注釈は、 original ZIP character encoding (>>170) に適合するべきです。 >>159

[179] 仕様書の文面そのままの厳密な読みでは CP437 を要求するものと理解されますが、 現実的には flag 11 仕様導入以前の各種の従来の文字コードへの対応が求められると見なさざるを得ません。

[176] 11 が設定されているときは、ファイル名と注釈は、 UTF-8 storage specification によって定義された文字符号化形を使い The Unicode Standard 4.1.0 以上に対応Unicodeの版しなければなりません。 >>159

[182] このビットのことを便宜上 UTF-8フラグflagと呼ぶことがあります。

[177] ZIPファイル内の UTF-8 で符号化されたデータは、 BOM を含まないことが期待されます。 >>159

[178] なぜか主語が大きいですが、文脈上 UTF-8フラグが設定された場合に限定される規定と思われます。[181] BOM ではないということは、 ZWNBSP と解釈されることになります。[346] general purpose bit 11 はファイル単位の属性です。 他のファイルとは相互作用しません。また、 ファイルの注釈には適用されますが、 ZIP 全体の注釈には適用されません。

[190] general purpose bit 11 は、 ファイルの内容や合言葉の符号化を暗示implyするものではありません。 >>159

[298] とはいえ現実には ZipCrypto 合言葉はファイル名と同じ文字コードで作成されている可能性が高いと考えられます。

[180] エラー処理などは規定がなく不正な UTF-8 をどう扱うべきか不明です。

[58] 現在では UTF-8フラグを利用して出力する実装が多くなってきており、 ZIP を使うファイル形式等でこれの利用を要求する技術仕様もあります。

[183] しかし現在でもすべての実装が UTF-8 で出力するわけではなく、 UTF-8 で出力する実装のすべてが UTF-8フラグを設定するわけでもありません。 UTF-8 の出力に対応していても、 UTF-8 や UTF-8フラグを既定で設定しない実装もあるようです。

[184] 現在では多くの実装が UTF-8 の復号や UTF-8フラグの理解に対応しているようです。 しかしすべての実装が正しく取り扱えるかどうかは不安があります。

[157] XユーザーのBinary numberさん: 「えー zip圧縮についてなんですがぁ... 調査の結果 Macが圧縮時にエンコードをUTF-8にしてるにもかかわらず、General purpose bit 11にフラグを立てずに圧縮するのが悪いってことがわかりました()」 / X, , https://x.com/_actbit/status/1867033742738591908

[158] 現代的ではなく相互運用性のため好ましくないのはその通りだが、歴史的経緯も何もかも無視してこのように Mac vs Windows の対立構造に持ち込んで貶めるために使うのは倫理的技術者倫理でない。

[345] Perlモジュールの Archive::Zip のように、 general purpose bit 11 をファイル名の解釈には使うのに、 注釈の解釈には使わない実装もあります。このような実装形態は中途半端で不適切です。

Info-ZIP Unicode 欄

[192] Info-Zip Unicode 欄は、 general purpose bit 11 が好ましからざるnot desiredときに使えます。 具体的には古いプログラムとの後方互換性が求められるときが想定されているようです。 >>159

[193] Info-ZIP Unicode Comment Extra Field (0x6375) には UTF-8 版のファイル注釈file commentを蓄積できます。 >>159

[194] その UnicodeCom 欄の値が、 entry comment の UTF-8 版であります。 BOM は使いません。 >>159

[196] Info-ZIP Unicode Path Extra Field (0x7075) には UTF-8 版のファイル名を蓄積できます、 >>159

[197] その UnicodeName 欄の値が、 entry File Name の UTF-8 版であります。 BOM は使いません。 >>159

[203] 明記はされていませんが、対応している実装は、 Info-ZIP Unicode 欄が存在する場合にそちらを採用し、 通常のファイル名と注釈を無視することが期待されているようです。

[200] general purpose bit 11 と Info-ZIP Unicode 欄の2つの方法がありますが、 使い分けについては次のような定めがあります。

[201] ZIPファイル生成時にどちらの方法によるかは、実装依存です。 >>159

[195] ファイル名と注釈の両方が UTF-8 のときは General Purpose Bit 11 (language encoding flag (EFS)) を設定することができるので、そちらを使うべきであり、 Info-ZIP Unicode Path extra field と Info-ZIP Unicode Comment extra field は使うべきではありません。 >>159

[198] ただ後方互換性のため、 general purpose bit 11 はZIPファイルに含めるファイルの path や comment の native character set が既に UTF-8 の場合に限って使うべきです。 >>159

[199] general purpose bit 11 によるか、 Info-ZIP Unicode extra field を使うかは、 Local Directory Header と Central Directory Header とで同じとすることが期待されます。 >>159

[202] 開発者は、ZIPファイルがどちらの方法も想定し、 どちらも読み取れるようにするべきです。 >>159

[204] 実際に各種の実装がどれくらいこれらを生成するのかは不明です。 実装例がないことはないようです。それこそ Info-ZIP が実装しています。

[347] 非常によく使われているということでもなさそうです。 しかし使われていないというわけではありません。 あちこちで見かけるのもまた事実です。

[205] 実際にどれくらい読み取りに対応されているのかも未知数です。

[206] 現在となっては UTF-8フラグに対応していないのに Info-ZIP Unicode 欄には対応している実装は残っていないでしょうし、 UTF-8 ファイル名を含めたいのに UTF-8 に対応していない実装も考慮したいという状況もあまりないでしょうから、 Info-ZIP Unicode 欄は新規ではあまり生成するべきではないと思われます。

[265] >>263 は Info-ZIP Unicode Path Extra Field (0x7075) の読み取りにも対応しているようです。

Extended language encoding data

[185] 0x0008 Extra Field というものがあり、 Reserved for extended language encoding data (PFS) と説明されています。 >>159

[186] 応用は、 0x0008 Extra Field を使って file name storage を補足supplementできるとされます。 しかしこれは optional field であり、その保存形式は現在未定義とされます。 >>159

[187] 0x0008 Extra Field は、 general purpose bit 11 が設定されている場合でも、 設定されていない場合でも使えます。 >>159

[191] ファイルの内容や合言葉の符号化は、 general purpose bit 11 が影響するものではなく、 0x0008 Extended Language Encoding Extra Field に蓄積しなければなりません。 >>159

[188] source or target encoding についての extended information を蓄積するものであって、 応用がファイル名やファイルの内容の符号化の task を更に補助するようなものが想定されます。 具体例として Java modified-UTF-8 であるか否か、 UTF-8-MAC であるか否かのような情報の格納に使えます。 また、文字符号化 (コードページ) の指示designationも指定できます。 これを使って CP437 や UTF-8 と違う符号化を ZIPファイル内で使えます。 >>159

[189] つまり「何かもっと詳しい情報を書ける」ということだけが決まっていて、 具体的なものは何もありません。 読み書きとも無視するのが妥当と考えられます。

Xceed Unicode extra field

[214] Xceed なる実装が Xceed Unicode extra field (0x554E) を使っています。 >>211, >>213

[215] ファイル名と注釈を格納できます >>211, >>213。どちらも UTF-16LE で BOM なしです。

[216] >>213 に当該実装で生成した ZIPファイルの実例があります。

[210] 実際にどの程度使われているか不明です。 >>213 はメタ情報を表示するだけのソフトウェアですが、 それと本家 Xceed 以外に対応している実装も知られていません。

  • [212] Handling Unicode characters, , https://xceed.com/documentation/xceed-filesystem-for-net/Handling%20Unicode%20characters.html
  • [211] Xceed zip extra fields, https://support.xceed.com/portal/en/community/topic/xceed-zip-extra-fields
  • [213] Error decoding `Xceed Unicode extra field` (0x0x554e) · Issue #13 · pmqs/zipdetails, https://github.com/pmqs/zipdetails/issues/13

ZipArchive Library Extra Field

[208] ZipArchive なる実装が ZipArchive Library Extra Field (0x5A4C) を定めています。 >>207

[209] ファイル名のコードページ、 ファイル名、 注釈のコードページを記述できるとしています。 >>207

[210] 実際にどの程度使われているか不明です。 これらが利用されたファイルも見つけることができません。 このソフトウェア自体の配布ファイルでも使われていません。

  • [207] ZipArchive: Unicode Support: Using Non-English Characters in Filenames, Comments and Passwords, https://www.artpol-software.com/ZipArchive/KB/0610051525.aspx#customExtra

host OS, zip version

[67] ファイルが追加された OS や ZIP 仕様の版の情報があります。 PKZip の場合、追加したOSと版番号が入るようで、 これを見て OEMコードページとANSIコードページを読み分ける実装があるようです (>>266 >>267)。

[88] ZIP を生成するソフトウェアが限られていて、 その挙動がすべてわかりきっている場合ならこの方法でもうまくいくのでしょうが、 実際に流通する ZIPファイルを見るにこの方法はあまり有効とは思えませんが、 どうなのでしょう。

その他

[330] Mac OS 用の拡張でファイル名や注釈やその文字コード種別を格納できるものがいくつかあります。 >>349

  • [349] , https://libzip.org/specifications/extrafld.txt

混合

[217] 文字コードの情報はファイルごとに格納されています。

[218] つまりファイルによって異なる文字コードが使われる可能性があります。

[219] 実際に UTF-8フラグ付きの UTF-8 のファイル名のファイルと、 UTF-8フラグなしの旧来の文字符号化のファイル名のファイルが同じ ZIPファイルに混在する事例がちらほらみられます。

[220] そうした事例の中には、ディレクトリーで非ASCII文字が使われていることもあります。 ZIP ではファイル名にディレクトリーも混在するので、 バイト列として見たときに異なるのに、 実際には文字列として等しいディレクトリーが含まれている場合があります。 バイト列を正しく復号できれば単一のディレクトリーになりますが、 誤って復号すると正しい名前と文字化けした名前の2つのディレクトリーに分裂することになります。

[221] 実際に流通しているかどうかは不明ですが、 UTF-8フラグなしで、異なる文字コードのファイル名のファイルが混在することも理論上はあり得ます。 異なるプラットフォームで既存の ZIPファイルに新しいファイルを追加すると、 特別な知識なしでも容易にそうしたファイルを作り得ます。 ただそうしたZIPファイルはほぼ確実に文字化けして表示されることになりますし、 そうした作り方で異なるプラットフォームを移動しながらファイルを追加していくという状況はあまりなさそうですから、 そのようなZIPファイルが流通し続けることは稀かもしれません。

[222] こうした文字コードの混在と同名だったり同名でなかったりするファイル名の取り扱いは、 セキュリティー上の問題を引き起こすこともありますし、 そうでなくても不具合の温床となりますから、実装者は注意が必要です。

ファイル名の文字コード決定

[13] ZIPファイルのファイル名では UTF-8 が使われる場合が多くなっているものの、 UTF-8 以外の ZIPファイルも過去に作成され大量に蓄積されていますし、 現在でも依然として生産され続けている実情があります。

[59] 後方互換性のため、実装は、

  • [60] UTF-8フラグあり、 UTF-8
  • [61] UTF-8フラグなし、 UTF-8
  • [62] UTF-8フラグなし、 その他の文字コード

の読み込みに対応する必要があります。

[223] UTF-8フラグ以外のファイル名の文字コードに関係する各種メタ情報は、 無視して構わないと思われます。

[224] UTF-8フラグがない場合、どの文字コードが使われているかは ZIPファイル内に明記されないため、何らかの手段で決定しなければなりません。

[56] 一般にバイト列の文字コードの決定方法は何通りかありますが 文字コードの判定 、 ZIPファイルのファイル名の場合に当てはめると次のものがあります。

  • [57] 決め打ち
    • [63] UTF-8 固定、その他の特定の文字コード固定など
    • [64] 特定目的専用の実装ならこれで十分なこともあります。
    • [65] 汎用的な展開プログラムやプログラム組み込み用のライブラリーなどでは不適切です。
  • [226] プラットフォームの文字コードに固定
    • [227] OEMコードページ固定、ANSIコードページ固定
      • [229] Windows 用の実装が採用していることが多いです。
    • [228] POSIXロケールに相当するコードページを求めてそれに固定
      • [230] Linux 等の実装が採用していることがあります。
  • [231] 実行時のオプションで文字コードを指定
    • [232] CLI プログラムやプログラム組み込み用のライブラリーなどが採用していることがあります。
  • [233] ファイル名のバイト列から推定
  • [234] ZIPファイルの入手元の情報を利用して推定
    • [235] URL の TLD
    • [237] 応答ヘッダーの Content-Language
    • [236] 配布ページの lang=""

[238] 使われ方がある程度決まったソフトウェアなら利用環境などの事前知識を使うことができますが、 どんな入力があるかわからない汎用のソフトウェアは推定手法を組み合わせることになります。

[239] バイト列や URL を使った推定手法は HTML などで用いられており、 参考にできます。ただし、

  • [240] Web とは文字コードの傾向が異なる。 Web ではまず使われない OEMコードページが ZIP ではむしろ主体。
  • [241] ファイル名は短いことが非常に多く、 しかも非ASCII文字は更にその一部分でしかないことが多い。 正確な判定の材料が少ない。
  • [242] 必ず URL が伴う Web と違って ZIP はファイル単体で流通することが多い。

といった ZIP 固有の事情があるので、 Web 用そのままでは必ずしも有効な実装になりません。

[225] 文字コードの決定は、厳密にはファイルごとに行うべきですが、 ファイル名は短いことが多く文字コードの判定が難しい場合があること、 ファイルごとにファイル名の文字コードが異なる場合は無視していいと思われること (>>221) から、 単独ではなく組み合わせにより行うことで精度を高められると考えられます。

[243] UTF-8 との混在 (>>220) がある場合、 UTF-8 でない文字コードの復号の結果と文字の分布が近い (ディレクトリーが該当する場合は部分一致する) 可能性があり、このことを推定の材料にできるかもしれません。

ファイル名に出現し得る文字コード

[244] UTF-8フラグがないファイル名で使われる文字コードの全体像は不明です。 これまでに大規模な調査などは行われたことが無さそうですし、 実行環境等に依存しない汎用的な実装をどのように作るべきかという議論もほとんど見られませんから、 手がかりが多くありません。

[245] 実例 (>>69) がある文字コードの他に、 実装例が知られている文字コードがいくつかあり、 それ以外に言及がある文字コードもいくつかあります。 こうした情報をヒントにできそうです。 ただしZIPファイルは公開 Web でやり取りされないものも大量に存在すると考えられますから、 Web 上で実例が見つけられるものだけに限定して考察するのは危険と思われます。

ZIPのファイル名のコードページ

[246] OEMコードページはすべて使われる(た)と想定するのが良いかもしれませんが、 歴史的にあまり使われなかったらしいOEMコードページもあるので、 それらは ZIP でも使われなかった可能性があります。

[247] ANSIコードページはすべて使われる(た)と想定するのが良いかもしれませんが、 OEMコードページがもっぱら使われANSIコードページは使われなかったものもあるかもしれません。

[250] 従って、一応主要なコードページはすべて ZIPファイルで出現し得るものとして対応するべきと考えられます。 具体的な一覧と、主に使われた国や言語との対応関係については、 コードページの項にある一覧表を参照。

[90] 実装に明示的に実装されながら、実ファイルは未発見のもの: CP720 CP855 CP857 CP858 CP860 CP861 CP862 CP863 CP864 CP869

[266] >>263 によると PKZip for Windows 2.5, 2.6, 4.0 は central directory header で OEMコードページを使い、 local directory header でANSIコードページを使うようです。 それに対処するための分岐とテストコードがあります。

[267] >>263 によると PKZip version 5 以上は OEMコードページを使うようです。 それに対処するための分岐とテストコードがあります。

[268] PKZip という公式実装が使っている OS と ZIP の版の情報を OEMコードページとANSIコードページのどちらかの判定に使っているわけです。 ただ公式実装以外がこれらをどう使っているかは怪しいところではありますし、 実際の Web 上のファイルを見るにこの判定条件で正確に対処できるのかは疑わしいように思われます。 ある程度のヒントには使えるのかもしれません。

  • [263] Merge into ubuntu/devel : fix-code-pages : lp:~mitya57/ubuntu/+source/unzip : Git : Code : unzip package : Ubuntu, https://code.launchpad.net/~mitya57/ubuntu/+source/unzip/+git/unzip/+merge/466860

ZIPファイル名のその他の文字コード

[248] DOS や Windows で主に使われた文字コードの他に、 Unix で主に使われた文字コードや Mac の文字コードが言及されることもあります。 ただ、歴史的に ZIPファイルは主に DOS 系の環境で使われてきたもので、 それ以外の環境では主に DOS 系の環境との互換性を意識して ZIPファイルを使うことが多かったと推測されますから、 Unix や Mac の文字コードを使った ZIPファイルの流通量はそれほど多くない(なかった)と思われます。

[249] 近年では ZIPファイルが書庫ファイルの事実上の標準となってどの環境でも普及していますが、 UTF-8 を使うか、当該地域の Windows 上の主要な実装と同じコードページを採用するのが普通と思われます。

[145] >>81 は

Convert filenames inside ZIP archives from autodetected older Russian encodings (koi8-r, koi8-u, cp866, windows-1251) to UTF-8.

と説明しており、キリル文字を使う KOI8-R, KOI8-U, CP866, Windows-1251, UTF-8 についてキリル文字の出現頻度の情報から自動判定します。

[254] キリル文字圏では KOI8 シリーズがかなり使われていましたが、 ZIPファイルでの実態はよくわかりません。現在のところ利用事例は確認されていません。 実利用事例の大多数は CP866 です。

[252] >>78 ではシフトJIS、日本語EUC、ISO-2022-JP、UTF-8 から自動判別する実装が紹介されています。また、 シフトJISや日本語EUCのテストファイルも掲載しています。 しかし ISO-2022-JP は生成する実装があるのか不明としています。

[255] >>78 で掲載されている日本語EUCのファイルはテスト用に製作されたものです。 容易にそれを製作できる環境はあったようですが、 さて、そのようなものがどれだけ使われていたのかは不明です。[253] ISO-2022-JP はおそらく日本語用の主要な文字コードの1つだからと対象に含められただけで、 ZIPファイルの利用事例があって実装されたわけではなさそうです。

[89] 【2025年】zip圧縮・展開(解凍) おすすめソフト12選まとめ+解説、文字化けよさらば!【Win・Mac】 #Windows - Qiita, https://qiita.com/ko1nksm/items/b1e320f418614372c43e

zip ファイルに関しても、macOS は Shift JIS に対応しています。ただし Windows 拡張版の CP932 ではなく、Mac OS 拡張版の MacJapaneseです。つまり古い Mac OS で作成した zip ファイルを展開できるようになっています。zip ファイルの中のファイル名の文字コードは国によって様々な文字コードが使われてきました。様々な文字コードが使われる状況では文字化けしやすいのは当然です。現在では Windows も macOS も Unicode を使っているわけで、あなたに Shift JIS を使う理由がないのであれば、zip ファイルの中のファイル名にも Unicode (UTF-8) を使いましょう。

[141] なお、 >>89 は ZIP のプロファイルの1つである ISO/IEC 21320-1:2015 を 「ISO/IEC の zip の標準規格」 という誇大な説明によって自説の補強に用いています。 まあ ZIP のプロファイルは一種の ZIP の標準と言えなくもないのですが、 ZIP の主要な技術仕様は他の文書を参照しているだけで、 直接的にはそれに対する追加の制約部分のみしか含まれないのですから、 誤解を招くだけであり、健全な説明とはいえません。 当該主張それ自体には問題がないのに、 無理な論拠を提示することによって優良性の誤認を誘発し、自ら有用性を毀損している残念な例です。

[142] >>89

Windows 標準の zip 機能は、正しい UTF-8 ファイル名(UTF-8 フラグが設定、または Unicode パス拡張フィールドの設定)であれば問題なく展開できたのですが、macOS 標準機能で作成した zip ファイルは、正しい UTF-8 ファイル名ではないので文字化けしてしまいます。他のソフトで文字化けしないのは、おそらく別の情報を参照しており、zip ファイルの情報に作成 OS が「Unix」と記録されていれば UTF-8 だろうと推測しているようです。

[143] 「他のソフト」の挙動が本当に検証したものなのか、筆者の推測なのか、これだけではよくわからない。
  • [251] GitHub - sanori/unzip-mbcs: UnZip for non-UTF8 encoding such as cp949, sjis, gbk, euc-kr, euc-jp, and gb2312, https://github.com/sanori/unzip-mbcs
  • [256] GitHub - sanori/node-unzip-mbcs: UnZip for non-UTF8 encoding such as cp949, sjis, gbk, euc-kr, euc-jp, and gb2312, https://github.com/sanori/node-unzip-mbcs

[257] >>251 >>256 は次のものの読み込みに対応しています。

Major non-UTF8 encodings by languages:

  • Korean: cp949, euc-kr
  • Japanese: sjis (shift_jis), cp932, euc-jp
  • Chinese: gbk, gb18030, gb2312, cp936, hkscs, big5, cp950

[258] テストデータとしてテスト用に作成されたと思われる ZIP ファイルがありますが、 cp949 のものと sjis のもののみで、それ以外は有名な符号化に対応しただけかもしれません。

[332] The OpenNET Project: Работа с русскими именами файлов в ZIP и UNZIP под *nix, https://www.opennet.ru/tips/2494_zip_rus_patch.shtml

ファイル名文字コードの自動判定

[269] ZIPファイルのファイル名の文字コードの判定は、 一般の文字コードの判定問題に加えて ZIPファイル特有の事情にも配慮が必要です (>>239)。

[270] 一般の文字コードの判定問題も完全に正確に回答を得ることは不可能で、 各種実装をみてもどれも一長一短で完璧なものはありません。 文字コードの判定 ファイル名は短い文字列なので、 難度は更に高まります。

[271] 従ってURLやロケールなどの補助的情報があれば、それを組み合わせて候補を絞り込むことが重要になってきます。

[272] 誤判定を予期して、実行時オプション等の形で手動で上書きする仕組みを併用することも重要です。

[76] 実装事例等:

  • [86] SUMMARY: Zip/Unzip and encoding problem (Was: Re: How to detect the encoding of a string?), , https://web.archive.org/web/20060504040848/http://mail.nl.linux.org/linux-utf8/2005-06/msg00010.html
  • [77] Bug #177929 “Should autodetect filename character encoding in zi...” : Bugs : file-roller package : Ubuntu, https://bugs.launchpad.net/ubuntu/+source/file-roller/+bug/177929
  • [87] Add option to unzip to detect the encoding of filenames : Blueprints : unzip, https://blueprints.launchpad.net/unzip/+spec/unzip-detect-filename-encoding
  • [81] GitHub - vlm/zip-fix-filename-encoding: Fix cyrillic character encoding of filenames inside zip archives, https://github.com/vlm/zip-fix-filename-encoding
    • [144] zip-fix-filename-encoding/src/runzip.c at master · vlm/zip-fix-filename-encoding · GitHub, https://github.com/vlm/zip-fix-filename-encoding/blob/master/src/runzip.c
  • [78] Develop/UnzipTestcase - Ubuntu Japanese Wiki, https://wiki.ubuntulinux.jp/Develop/UnzipTestcase
  • [303] ZIP Mojibake Fixer, , https://ianharmon.github.io/mojibake-fixer/
    • [304] シフトJISとみなして変換する実装

実ファイル例

[69] 各種文字コードのファイル名の入ったZIPファイル:

  • [106] CP437
    • [107] Access to documents requests (in French only), Institut de la statistique du Québec, https://statistique.quebec.ca/en/institut/our-organization/access-to-information/access-to-documents-requests
      • [108] https://statistique.quebec.ca/fr/fichier/demande-acces-9448-24.zip
    • [110] Submitting a request, Institut de la statistique du Québec, https://statistique.quebec.ca/en/services-recherche/submitting-a-request
      • [109] https://statistique.quebec.ca/en/fichier/rda-startup-kit.zip
        • [307] ASCII文字のみのものに変更確認
        • [308] Wayback Machine, https://web.archive.org/web/20250524031518/https://statistique.quebec.ca/en/fichier/rda-startup-kit.zip
          • [309] 非ASCII文字が含まれていた時代のもの
    • [112] Outils promotionnels En nature, ma sécurité, c’est ma responsabilité | Gouvernement du Québec, https://www.quebec.ca/securite-situations-urgence/securite-civile/soutien-partenaires/outils-promotionnels-nature-securite-responsabilite
      • [111] https://cdn-contenu.quebec.ca/cdn-contenu/adm/min/securite-publique/publications-adm/publications-secteurs/securite-civile/soutien-partenaires/jpg_gif_hd.zip
    • [313] ZipInfo corrupts file names in some old zip archives · Issue #84353 · python/cpython, https://github.com/python/cpython/issues/84353
      • [314] https://bugs.python.org/file49030/example.zip
        • [315] ファイル名と ZIPファイル全体の注釈が IBM437 (罫線等)。
      • [316] https://github.com/python/cpython/files/14594709/name_bug.zip
        • [317] test.zip
          • [318] ファイル名が IBM437 (括弧)。
    • [323] Regression: ZipFile/ZipArchive entry name decoding not working correctly when entryNameEncoding is specified · Issue #92283 · dotnet/runtime, https://github.com/dotnet/runtime/issues/92283#issuecomment-2109982824
      • [324] https://github.com/dotnet/runtime/files/15307551/Documentacion.zip
        • [327] Info-Zip Unicode 欄あり
      • [325] https://github.com/dotnet/runtime/files/15316539/UnzipNames.zip
        • [328] Info-Zip Unicode 欄あり
        • [326] UTF-8 (フラグ付き) と混在
  • [150] CP737
    • [151] Comment #12 : Bug #580961 : Bugs : unzip package : Ubuntu, https://bugs.launchpad.net/ubuntu/+source/unzip/+bug/580961/comments/12
      • [149] https://www.ops.gr/Ergorama/fileUploads/ypiresiaops/prokirikseis/biografiko.zip
    • [99] Διακηρύξεις μίσθωσης και εκμίσθωσης ακινήτων. - Διεύθυνση Διοικητικών Υπηρεσιών - Ελληνική Δημοκρατία - Περιφέρεια Αττικής, https://opendata.attica.gov.gr/content/genikh-dieythynsh-eswterikhs-leitoyrgias/d-nsh-dioikhtikwn-yphresiwn/155-diakhrykseis
      • [98] https://opendata.attica.gov.gr/content/genikh-dieythynsh-eswterikhs-leitoyrgias/d-nsh-dioikhtikwn-yphresiwn/155-diakhrykseis?fdl=YTJ4TDV2Tnh1ZzAzZG9KSkRWZXVEcVZtY2ZHZDZoS1owc2FyY0tQNUovSGFqMkhpK2xZNkxOVHBxdHFaeWNSdGVFY3JMMjEzUzNKbmRXeGhlSGQ0VEZCWVNFRTFRVDA5
        • [100] UTF-8 (フラグあり) のファイルと混在
      • [101] https://opendata.attica.gov.gr/content/genikh-dieythynsh-eswterikhs-leitoyrgias/d-nsh-dioikhtikwn-yphresiwn/155-diakhrykseis?fdl=WGNVMDZpUXBkL0VvczA4L0RHM1NMVWxCMkRQSUdMdWlDbjNFY1VGZTZSQXk2aEJoWGhoSkRGZWtSa0diR2c0MVltZ3ZNa3R1VTA1MlZUWnNSM0p6V21wWk5ERk5VVDA5
  • [137] CP775
    • [138] LIFE EcosystemServices, https://ekosistemas.daba.gov.lv/public/eng/deliverables_and_publications1/ecosystem_services_mapping/
      • [139] https://ekosistemas.daba.gov.lv/upload/File/02%20Biotopu%20kvalit%C4%81tes%20kartes.zip
    • [319] Regression: ZipFile/ZipArchive entry name decoding not working correctly when entryNameEncoding is specified · Issue #92283 · dotnet/runtime, https://github.com/dotnet/runtime/issues/92283
      • [320] https://github.com/dotnet/runtime/files/12662810/test_win.zip
      • [321] https://github.com/dotnet/runtime/files/12662809/test_dotnet.zip
        • [322] こちらは UTF-8 (フラグあり)
  • [102] CP850
    • [103] Portal Autárquico - Publicações on-line, , https://portalautarquico.dgal.gov.pt/pt-PT/servicos-on-line/biblioteca/publicacoes-on-line/
      • [104] https://portalautarquico.dgal.gov.pt/ficheiros/?schema=f7664ca7-3a1a-4b25-9f46-2056eef44c33&channel=266f4a32-848e-4d2c-99c6-ad5b5511d7fe&content_id=143C8989-5D21-45F1-8EC0-7CEAEAC0049E&field=storage_image&lang=pt&ver=1&filetype=zip&dtestate=2024-04-22132849
      • [105] https://portalautarquico.dgal.gov.pt/ficheiros/?schema=f7664ca7-3a1a-4b25-9f46-2056eef44c33&channel=266f4a32-848e-4d2c-99c6-ad5b5511d7fe&content_id=C73AC715-5085-48A0-9D5B-64C92E0D092F&field=storage_image&lang=pt&ver=1&filetype=zip&dtestate=2024-04-22132817
    • [284] O mundo da tradução na Dokutech Translations, https://repositorium.uminho.pt/entities/publication/45bd0926-6e82-4f96-b97d-a88b2f2c6139
      • [285] https://repositorium.uminho.pt/bitstreams/083f5a66-91d9-4309-98e2-b5190fc9b95f/download
    • [286] A dinamização cultural dos recursos informativos do Arquivo Municipal de Paredes de Coura, https://repositorium.uminho.pt/entities/publication/5f48e172-165d-422f-99f3-932184384ba2/full
      • [287] https://repositorium.uminho.pt/server/api/core/bitstreams/ac1b90d9-8d44-43ad-b26a-22933743fb67/content
    • [290] Acesso aos arquivos | OMIP, , https://www.omip.pt/pt/downloads
      • [289] https://www.omip.pt/system/files/2023-02/Circulares%20OMIP_20.Fev_.2023_PT.zip
      • [288] https://www.omip.pt/system/files/2023-02/Circulares%20OMIP_27.Feb_.2023_ES.zip
      • [291] https://www.omip.pt/system/files/2020-03/general_models_es.zip
      • [292] https://www.omip.pt/system/files/2020-03/omip_models_es.zip
      • [293] https://www.omip.pt/system/files/2020-03/omip_models_pt.zip
    • [295] Pesquisa de Ações Discriminatórias no Âmbito Escolar — Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira | Inep, https://www.gov.br/inep/pt-br/acesso-a-informacao/dados-abertos/microdados/pesquisa-de-acoes-discriminatorias-no-ambito-escolar
      • [294] https://download.inep.gov.br/microdados/microdados_pesquisa_acoes_discriminatorias_ambito_escolar_2008.zip
    • [297] Enem por Escola — Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira | Inep, https://www.gov.br/inep/pt-br/acesso-a-informacao/dados-abertos/microdados/enem-por-escola
      • [296] https://download.inep.gov.br/microdados/enem_por_escola/2005_a_2015/microdados_enem_por_escola.zip
    • [46] Recherche - Les services de l'État en Gironde, , https://www.gironde.gouv.fr/contenu/recherche/(offset)/1350?SearchText=&dateFilter[]=
      • [47] https://www.gironde.gouv.fr/contenu/telechargement/45738/310633/file/G%C3%A9n%C3%A9rac.zip
        • [48] Content-Language: fr-FR
      • [17] CP437 とも等しい
  • [113] CP852
    • [115] Technologická agentura ČR, https://tacr.gov.cz/dokumenty/prostredi-pro-zivot-2-logolinky-zip
      • [114] https://tacr.gov.cz/wp-content/uploads/documents/2024/01/29/1706524597_Prostr%CC%8Cedi%CC%81%20pro%20z%CC%8Civot%202_logolinky.zip
        • [118] UTF-8 フラグ付きと混在
        • [348] Info-ZIP 名もあり
    • [116] C121040 Dodatečné informace.zip, MŠMT ČR, QCM, s.r.o web@qcm.cz http://www.qcm.cz, https://msmt.gov.cz/file/26589/
      • [117] https://msmt.gov.cz/file/26589_1_1/download/
    • [120] Ministarstvo zaštite okoliša i zelene tranzicije Republike Hrvatske - Financijski dokumenti, https://mzozt.gov.hr/pristup-informacijama-4924/strategije-planovi-izvjesca-i-ostali-dokumenti/financijski-dokumenti/1071?big=0
      • [119] https://mzozt.gov.hr/UserDocsImages//Pristup%20informacijama//07805%20Financijski%20plan%202025-2027.zip
    • [131] Pliki do pobrania KSeF, , https://ksef.podatki.gov.pl/baza-wiedzy-ksef/pliki-do-pobrania-ksef/
      • [130] https://ksef.podatki.gov.pl/media/afqfu0g4/przykladowe-pliki-dla-struktury-logicznej-e-faktury-fa-2.zip
  • [94] CP857
    • [95] YOZGAT GENÇLİK VE SPOR İL MÜDÜRLÜĞÜ, T.C. Gençlik ve Spor Bakanlığı, https://yozgat.gsb.gov.tr/Sayfalar/1916/388/Kul%C3%BCp%20%C4%B0%C5%9Flemleri.aspx
      • [96] https://yozgat.gsb.gov.tr/Public/Edit/images/IM/83/Kul%C3%BCp%20Tescil%20Bilgileri/1-Spor%20Kul%C3%BCpleri%20ile%20ilgili%20Mevzuatlar.zip
  • [121] CP866
    • [123] НАЧАЛО - Контролна дейност - Годишни планове за контролната дейност - Годишни планове за контролната дейност на РИОСВ-Стара Загора - Регионална инспекция по околната среда и водите - РИОСВ -Стара Загора, https://stz.riew.gov.bg/Godishni_planove_za_kontrolnata_deynost_na_RIOSV_Stara_Zagora-p447
      • [122] https://stz.riew.gov.bg/files/File/%D0%93%D0%BE%D0%B4%D0%B8%D1%88%D0%B5%D0%BD%20%D0%BF%D0%BB%D0%B0%D0%BD/59KZ-Plan_2015.zip
    • [125] Квартални извештаи – Општина Куманово, https://kumanovo.gov.mk/document-category/kvartalni/
      • [126] https://kumanovo.gov.mk/wp-content/uploads/2022/04/IV-%D0%BA%D0%B2%D0%B0%D1%80%D1%82%D0%B0%D0%BB-2021.zip
        • [127] UTF-8 フラグ付きと混在
      • [124] https://kumanovo.gov.mk/wp-content/uploads/2022/04/III-%D0%BA%D0%B2%D0%B0%D1%80%D1%82%D0%B0%D0%BB-2021.zip
    • [132] https://data.gov.ua/dataset/36f4ddb7-b1f5-4971-b94e-76cb4e1bca58/resource/46c69404-5354-42a9-8b21-0a4994bba701/download/2020-vid-11-11.zip
    • [147] undefined is not an object (evaluating 'zip.file(/\.fb2$/)[0].async') · Issue #629 · johnfactotum/foliate, https://github.com/johnfactotum/foliate/issues/629
      • [146] https://github.com/johnfactotum/foliate/files/5572506/_-_._.fb2.zip
        • [148] >>147 では KOI8-R と推測されているが実際には IBM866 と思われる
    • [156] Add proper support for CP1251 in case of generated Zip archive under Windows via 7zip · Issue #23 · mrkkrp/zip, https://github.com/mrkkrp/zip/issues/23
      • [155] https://github.com/mrkkrp/zip/files/491598/vaz.zip
      • [331] CP1251 だと言っているのは誤り。
    • [283] https://web.archive.org/web/20001102025703/http://www.uzpak.uz/comerce.zip
  • [14] CP874
    • [15] https://pathumthani.industry.go.th/th/3/content
      • [16] https://pathumthani.industry.go.th/web-upload/45x67bf7a6fe8eeb7d38245cecd679435cf/m_document/28692/99893/file_download/3a457beb0c64023c079bb0275d87b88f.zip
  • [72] CP932
    • [74] https://www.city.yokohama.lg.jp/tsuzuki/kusei/koho/koho_tsuzuki/kohoback/R2tzkoho.files/2004tsuzuki-text.zip
    • [75] https://www.city.yokohama.lg.jp/totsuka/shokai/gaiyo/totsukafuoto/kategori_sagasu/sonota/c04-01-mt_fuji01.files/c04-01-0006.zip
    • [73] https://www2s.biglobe.ne.jp/~ant/gaiji.zip
      • (半角カタカナ)
    • >>78
    • [260] unzip-mbcs/test/test_unzipmbcs.py at master · sanori/unzip-mbcs · GitHub, https://github.com/sanori/unzip-mbcs/blob/master/test/test_unzipmbcs.py
      • [261] 合言葉にも非ASCII文字
    • [97] japanese file name encoding are corrupted · Issue #384 · Stuk/jszip, https://github.com/Stuk/jszip/issues/384
    • [301] Some test data · Issue #2 · ianharmon/mojibake-fixer, https://github.com/ianharmon/mojibake-fixer/issues/2
      • [302] 文字化けのまま保存しなおしたファイル名と混在
    • [341] [Feature Request]: Manually specify character encoding / codepage / mcp · Issue #248 · rikyoz/bit7z, https://github.com/rikyoz/bit7z/issues/248
    • [350] https://opendata.city.sagamihara.kanagawa.jp/dataset/eea0ce8c-2429-41f4-acdb-15ea13ac0353/resource/268a70c1-174b-4109-8658-0097184d7ee2/download/732832.zip
  • [79] EUC-JP
    • >>78
      • [80] https://wiki.ubuntulinux.jp/Develop/UnzipTestcase?action=AttachFile&do=get&target=unzip_EUC-JP_testfile.zip
  • [49] CP936
    • [51] 北京市交通委员会, , https://jtw.beijing.gov.cn/xxgk/czxzj/202409/t20240903_3788312.html
      • [50] https://jtw.beijing.gov.cn/xxgk/czxzj/202409/P020241212524044343049.zip
    • [339] System.IO.Compression results in garbled Chinese directory names when extracting. · dotnet/runtime · Discussion #104280 · GitHub, https://github.com/dotnet/runtime/discussions/104280
      • [340] https://github.com/user-attachments/files/16069900/default.zip
  • [52] CP949
    • [66] 학회/행사/기타 안내 상세보기(일상생활에서 개인정보 지키는 꿀팁!(개인정보 보호 주간 9.30.-10.4.)) | 국립국어원, https://www.korean.go.kr/front/board/boardStandardView.do;front=02D474CEED6BC6E2426609D7FD6CA64E?board_id=7&b_seq=938&mn_id=186
      • [82] https://www.korean.go.kr/common/download.do?file_path=event&c_file_name=4bb0df72-593c-4cde-87ec-5c3e82b645f4.zip&o_file_name=%EC%9D%BC%EC%83%81%EC%83%9D%ED%99%9C%EC%97%90%EC%84%9C%20%EA%B0%9C%EC%9D%B8%EC%A0%95%EB%B3%B4%20%EC%A7%80%ED%82%A4%EB%8A%94%20%EA%BF%80%ED%8C%81(%EA%B0%9C%EC%9D%B8%EC%A0%95%EB%B3%B4%20%EB%B3%B4%ED%98%B8%EC%A3%BC%EA%B0%84%20%EC%B9%B4%EB%93%9C%20%EB%89%B4%EC%8A%A4).zip
        • [83] Content-Type: application/zip;charset=utf-8
    • [84] 시정소식 < 새소식 < 용인소식 < HOME : 용인시청 대표포털, https://www.yongin.go.kr/user/bbs/BD_selectBbs.do?q_bbsCode=1001&q_bbscttSn=20240219075251883
      • [85] https://www.yongin.go.kr/component/file/ND_fileDownload.do?q_fileSn=395735&q_fileId=ac01f7a4-ddee-47dd-b505-b2e134c1f2ae
    • [259] unzip-mbcs/test/test_unzipmbcs.py at master · sanori/unzip-mbcs · GitHub, https://github.com/sanori/unzip-mbcs/blob/master/test/test_unzipmbcs.py
      • [262] EUC-KR でない UHC
  • [71] CP950
    • [70] https://www.cns11643.gov.tw/opendata/MapingTables.zip
    • [134] 政府物流服务署 - 政府物流服务署现有通用物品定期合约的招标文件, , https://www.gld.gov.hk/zh-cn/our-services/one-stop/supplier-corner/tender-document/
      • [133] https://www.gld.gov.hk/assets/gld/download-files/tender-document/A9900602021.zip
        • [311] 消滅確認
        • [312] Wayback Machine, https://web.archive.org/web/20250524064833/https://www.gld.gov.hk/assets/gld/download-files/tender-document/A9900602021.zip
    • [136] null, https://portal.dsedj.gov.mo/webdsejspace/addon/msglistdsejform/MsgListDsejForm_view_page.jsp?langsel=c
      • [135] https://portal.dsedj.gov.mo/webdsejspace/addon/upload/Upload_viewfile_page.jsp?id=45777&sid=&
        • [310] Info-ZIP Unicode Path Extra Field もあり。
        • [329] Content-Type: application/x-zip-compressed; charset=utf-8, Content-Disposition: attachment; filename="DSEDJ-D81c_DOC.zip"
  • [152] CP1251
    • [154] #779207 - unzip fails to unpack filenames containing 'ä' 'ö' 'ü' -> results in "(invalid encoding)" - Debian Bug report logs, https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=779207#51
      • [153] https://bugs.debian.org/cgi-bin/bugreport.cgi?att=3;bug=779207;filename=%D0%94%D0%B8%D0%BA%D0%B8%D0%B9+%D0%BF%D0%BE%D0%BC%D0%B5%D1%89%D0%B8%D0%BA.htm.zip;msg=61
  • [335] CP1252
    • [336] zipfile: Corrupts filenames containing non-UTF8 characters · Issue #83042 · python/cpython, https://github.com/python/cpython/issues/83042
      • [337] https://bugs.python.org/file48724/t.zip
        • [338] 完全にテスト用のファイル名で非ASCII文字は1バイトのみ。 投稿者が ISO-8859-1 であると説明しているが、 その説明がなければ決定不能。
  • [91] UTF-8 (フラグなし)
    • [93] Hướng dẫn thực hiện Chương trình giáo dục trung học năm học 2021-2022 - Mạng lưới giáo dục trực tuyến – goEdu, Mạng lưới giáo dục trực tuyến – goEdu, https://go.vn/details/4859
      • [92] https://res.ioe.vn/edu/EOlympic/DispatchDoc/original/2021/9/THCS.zip?_gl=1*eorw4l*_gcl_au*MTgzNzEzODc3Ni4xNzQ4MDA2NzA0
    • [129] المؤسسة العامة للري - الهوية واللوائح, ThemeTags, https://www.sio.gov.sa/About/Rules_Regulations/1
      • [128] https://www.sio.gov.sa/assets/files/guide_files/Arabic.zip
    • [300] [BUG]Garbled characters in Japanese environment · Issue #1444 · aonez/Keka, https://github.com/aonez/Keka/issues/1444
    • [305] "Could not load content" error? · Issue #1 · ianharmon/mojibake-fixer, https://github.com/ianharmon/mojibake-fixer/issues/1
      • [306] 元々シフトJISだったバイト列を IBM437 と誤認して UTF-8 に変換したもの
    • [333] ZipFile: Bugfix: Use unicode encoding to read the name string if UseUnicode is set by TalAloni · Pull Request #284 · icsharpcode/SharpZipLib · GitHub, https://github.com/icsharpcode/SharpZipLib/pull/284
      • [334] https://github.com/icsharpcode/SharpZipLib/files/2522058/UTF8_Filenames.zip
    • [343] interpret filenames as UTF-8 even without general purpose bit 11 to workaround Mac bug · Issue #84 · thejoshwolfe/yauzl, https://github.com/thejoshwolfe/yauzl/issues/84
      • [342] https://github.com/thejoshwolfe/yauzl/files/1973376/default.zip

文字表現の制約

[68] 同じ UTF-8 でも Windows などでは NFC 系の正規化に近い状態が一般的で (ただし必ずしも正規化されるわけではない)、 Mac では NFD 系の正規化が適用されている状態 ( HFS+のNFD ) が標準的です。 これはZIPファイルのファイル名に限ったものではなく、 ファイル名の扱い全般に関するプラットフォームの挙動の差異なのですが、 どのプラットフォームでZIPファイルを作成するかによってプラットフォームの違いが ZIPファイルにそのまま持ち込まれることになります。

[274] ZIPファイルの仕様としてはどうするのが良いとは特に決まっていません。 つまり、どの挙動が正しい、間違いといえるものではありません。

[273] ZIPファイルの文字コードを扱う実装や解説などの中には、 Mac の挙動を UTF-8-MAC などと称するものがあります (ZIPファイルに限らず、 この話題でしばしば使われる通称です)。

[275] 中には Mac の挙動が不適切であるかのように扱うものもあります >>140 が、 Mac がおかしなことをしているわけではありません。 現実に不都合が生じるかもしれませんが、それは Mac が悪いのではなく、 Unicode と ZIP の仕様に由来する不便です。

[276] ZIPファイルから取り出したファイルのプラットフォームのファイルシステム上のファイル名をどのように決めるかは、 ZIPファイル内のファイル名とファイルシステムの制約を勘案しつつ決めなければなりません。 ファイルシステムの必須の制約を満たすことは不可避の条件となりますが、 必須条件でないプラットフォームの慣習とZIPファイルの格納値の折り合いをどうつけるかは、 設計方針の問題となります。

[277] 例えば文字 C を使えないファイルシステムにファイルを保存するときは、 エラーにするか、 他の文字に置き換えるか、 利用者に尋ねるか、といった何らかの操作が必要になります。

[278] 例えば文字 C を保存できるファイルシステムで、 プラットフォームの慣習上 C は D と表現するのが適切な (利用者が新規で作成したとするなら D と表現される) 環境でファイルを保存するときは、 C のままにするか、 D に置き換えるか決めることになります。

[279] D の方が利用者が扱いやすいかもしれませんが、 C のままにしておかなければファイル名による相互参照が崩れるリスクがあります。

  • [140] GitHub - tats-u/zifu: ZIPファイルのファイル名のエンコーディングをUTF-8に直すツール / Tool that fixes file names in ZIP archives (make them UTF-8), https://github.com/tats-u/zifu

HFS

実装

  • [264] Unable to open some CD-ROM disk images containing HFS partitions · Issue #15 · unsound/hfsexplorer, https://github.com/unsound/hfsexplorer/issues/15

實例

  • [280] MacJapanese
    • [281] CD-ROM MACLIFE 77 - KanjiTalk 7.5 (1995-01) : BNN (Bug News Network) : Free Download, Borrow, and Streaming : Internet Archive, https://archive.org/details/maclife-kanjitalk-75
    • [282] INFO-MAC MAY 1993 (Japanese) : Pacific HiTech : Free Download, Borrow, and Streaming : Internet Archive, https://archive.org/details/info-mac-may-1993-japanese

メモ