プロキシ (Web)

[46] プロキシ (proxy) は、アプリケーション層プロトコルを中継するものです。 Web では、 HTTP や FTP などの通信をネットワーク境界を超えさせるために使ったり、キャッシュやアプリケーション層の経路制御などの機能のために用いたりします。

仕様書

[7] RFC 7230 - Hypertext Transfer Protocol (HTTP/1.1): Message Syntax and Routing (2014-06-07 01:59:35 +09:00 版) https://tools.ietf.org/html/rfc7230#page-10
[16] RFC 4918 - HTTP Extensions for Web Distributed Authoring and Versioning (WebDAV) (2014-09-21 17:04:59 +09:00 版) http://tools.ietf.org/html/rfc4918#section-18

分類と用途

[15] プロキシは、キャッシュ、変形、経路制御、アクセス制御・防火壁、ウイルス検査、検閲、検閲回避など様々な目的のために利用されています。

[10] プロキシは、用途やプロトコル、配置などによって、様々に分類されています。

[19] 特定の Webサイトの HTML を書き換えたり JavaScript を注入したり、キャッシュ機能を強化したりして利用者側で高度な Webサイトのカスタマイズを行うことを目的とした串もあります。他の言語や方言に翻訳する串もあります。しかしこうした内容を書き換える串は利用者エージェントにとって MITM 攻撃と区別がつかないので、好ましくないのかもしれません。そのような書き換えがあったかどうか利用者エージェント側から確実に判定する方法はありません。

[31] 組織内ネットワークの出入口に当たる串や、年少者向けのフィルタリングを行う串など、検閲を目的とした串はドメイン名、IPアドレス、URL、応答の内容その他の要求や応答の特徴に基づき要求を遮断したり、応答を改変・差し替えたりすることがあります。その場合は 403 などの状態符号が使われると思われますが、その保証はありません。また利用者エージェント側から通常の応答と確実に区別する方法はありません。

[32] 透過プロキシにより、こうした改変が利用者の気づかないうちに行われている場合もあります。

[9] HTTP は、一般的な技術用語としての「プロキシ」よりもかなり狭い意味 (HTTP をプロトコルとして使った順プロキシ) に限定して「プロキシ」を定義しています。 interception proxy や透過串は、クライアントによって選択されたものではありませんから、 HTTP の定義によるプロキシではありません >>7 2.3.。 HTTP のプロキシについては、順プロキシを参照。

[1] 組織内ネットワークから外部のネットワークに接続するため、あるいは VPN 等特別なネットワークに接続するためにプロキシを通す必要がある場合も存在します。実用上、 Webブラウザーその他の Web のクライアントソフトウェアは、プロキシに対応しなければなりません。

[14] 串は多段化できます。すなわち、串もまた串を使うことができます。

[13] インターネットとアプリケーションサーバーの間に、ネットワーク境界を超えると共に経路制御を行うための逆プロキシと、 HTTPキャッシュ機能を持ったプロキシの2段階のサーバーを挟むことがあります。

[11] あるいは、上位層のプロトコルのプロキシを使った通信が、それとは別個に、下位層のプロキシを使った通信の上で行われることもあります。

プロトコル

[48] プロキシの実現を目的としたプロトコルに次のようなものがあります。

[49] プロキシを想定した機能を持ったプロトコルに次のようなものがあります。

HTTP
- HTTP over FTP

[22] 素のHTTP では、プロキシが要求を解釈し改めて自身の要求として上流に送信する形を採っています。 HTTPS では、 TLS の仕様や趣旨からそのような書き換えは望ましくない (というか MITM proxy でない限り不可能) なため、プロキシは TLS の通信を盲目的に中継するトンネルとして動作します。

[20] WebSocket は、通常の HTTP と同じ形でプロキシが使えます。

[17] WebDAV に対応する串は、 HTTP/1.1 に適合しなければなりません >>16。

[21] FTP のプロキシは色々な方法が歴史的に使われてきましたが、 Web ではもっぱら FTP over HTTP が使われます。

認証

[33] 串は、その機能の一部または全部の利用にログイン等の操作が必要なことがあります。プロキシのプロトコルに認証機能が組み込まれていることもあります。ログイン等の操作を促す手段として captive portal が用いられる場合もあります。

エラー処理

[25] プロトコルによっては、起源サーバーのエラーとプロキシ自体のエラーやプロキシから上流への接続に関するエラーを明確に区別できないことがあります。

[27] 素のHTTPのプロキシ機能では、プロキシが上流からのエラー応答を転送したのか、プロキシがエラー応答を生成したのかクライアントが確実に区別する方法がありません。

セキュリティー

[28] プロキシを通じて使うプロトコルが HTTPS のように TLS を使ってセキュリティーを確保したものでは無い場合、クライアントはプロキシを無条件で信頼することになります。

[29] 例えば素のHTTPのプロキシ機能の場合は、プロキシは応答の内容を自由に覗いて自由に書き換えることができます。プロキシが信頼できないものであるなら、機密情報が漏洩するかもしれませんし、危険なスクリプトが埋め込まれるかもしれません。

[35] 組織内ネットワークなどでプロキシが絶対に信頼できる場合を除いて、プロキシを使って平文で通信するべきではありません。プロキシが信頼できるはずの場合でも、信頼できないプロキシが別に設置される危険性には注意が必要です。

[36] 例えば悪意のある者が物理的にネットワークにアクセスできるなら、プロキシとして動作する計算機から LANケーブルを抜いて、偽のプロキシに差し替えるかもしれません。

HTTP プロキシ

[59] HTTPのプロキシ機能には、次のプロトコル要素が関与します。

Proxy-Connection:

処理

[60] HTTPプロキシのサーバーとしての基本動作は、通常の HTTPサーバーと変わりありません。詳細はHTTPサーバー参照。

[63] 要求検査においては、プロキシ認証を行うことができます。プロキシ自体に対する利用権限を検査するHTTP認証ですが、具体的な認証方式や利用権限の決定方法などは実装と設定に依存します。

[62] トンネルとしての動作は、 CONNECT を参照してください。

[61] 順プロキシや逆プロキシとしての挙動は、 要求の処理の選択を次のように行うものです。

[64] 要求の要求対象が本プロキシサーバーで扱う対象かどうかを判断します。偽の場合、
1. [65] 何か適切なエラーの応答を返します。
[73]
port blocking
[75] それ以外の場合、
1. [76] プロキシ処理を返します。

[68] 対象かどうかの検査では、自分自身が指定された場合や、自身の所属するプライベートネットワーク (外部からアクセスできるべきでないもの) への接続要求を弾く必要がありそうです。

[77] プロキシ処理は、要求を次のようにするものです。

[78] 要求がキャッシュで処理できるものなら、
1. [79] キャッシュ項目を返す処理を行い、ここで停止します。
[66] 起源を、要求の対象URLの起源に設定します。
[67] 接続を、起源の接続を得るを実行した結果に設定します。
credentials
[83] 要求に接続ヘッダー消去を適用します。
[89] 要求に要求改変処理を適用します。
[69] 接続上に要求を送信します。
credentials
[80] 応答を、接続から得られた応答に設定します。
[87] 応答がネットワークエラーか、 応答の状態が 407 か 511 なら、
1. [88] 適切な 5xx エラーの応答 (4xx 参照。) を送信し、ここで停止します。
[81] 応答に接続ヘッダー消去を適用します。
[90] 応答に応答改変処理を適用します。
[82] 応答を送信します。
[85] キャッシュを使うなら、
1. [86] 応答のキャッシュ保存操作を実行します。

[84] メッセージの接続ヘッダー消去は、次のようにします。

[71] メッセージに Connection: ヘッダーがあれば、
1. [72] メッセージから、 Connection: ヘッダーで名前が指定されたヘッダーをすべて削除します。
[70] メッセージから、次のヘッダーをすべて削除します。
- connection-specific header field
- Host:
- Content-Length:
- Transfer-Encoding:
- Trailer:
- TE:
- Keep-Alive:
- Proxy-Connection:
- Upgrade:
- Proxy-Authorization:
- Proxy-Authenticate:
- Connection:

[96] Server: や User-Agent: は削除しません。

[91] 要求の要求改変処理や応答の応答改変処理は、サーバーの実装と設定に依存した方法で要求や応答を改変できます。

[92] HTTP の仕様上は要求に Via: ヘッダーを追加することが求められています。 応答に Date: が含まれないとき付与することが求められています。

[95] これらの規定がどの程度実施されているかは不明です。敢えて Via: を付加しないことも多そうです。

[93] 逆プロキシは要求に X-Forwarded-*: ヘッダーを付与して元のアクセスの情報を残すのが一般的です。

[94] 変形プロキシは応答のヘッダーや本体を目的に応じて改変します。

[106] HTTPS を扱う MITM proxy は更にいくつかのヘッダーを削除するかもしれません。 MITM proxy

クライアントの設定

[4] HTTPクライアント (Webブラウザーその他の末端のクライアントも、経路の中間にあるプロキシも。) のほとんどは、何らかの接続するべきプロキシの指定 (プロキシ設定) の手段を用意しています。

[8] プロキシの機能やプロキシ設定の機能は、クライアントソフトウェアごとに実装されていることもあれば、動作しているプラットフォームの側で一部または全部が提供されていることもあります。

[12] 例えば Windows は OS 全体のプロキシ設定を保持しています。

ネットワーク設定

[6] プロキシ設定の方法は、ソフトウェアごとに異なりますが、次のような手段から1つ以上提供しているのが普通です。

[18] 環境変数による指定は、http_proxy など一式がデファクト標準となっていて、多くのソフトウェアで共通で参照されます。

http_proxy 参照。

[24] 指定の方法や提供する機能はソフトウェアごとに異なりますが、おおよそ次のような形とするのが一般的なようです。

プロキシモード: 「なし」、「PAC」、「WPAD」、「プラットフォーム」、「手動」のいずれか。
HTTP プロキシ: (プロトコル, 利用者名, 合言葉, ホスト, ポート) または null
HTTPS プロキシ: (プロトコル, 利用者名, 合言葉, ホスト, ポート) または null
FTP プロキシ: (プロトコル, 利用者名, 合言葉, ホスト, ポート) または null
SOCKS プロキシ: (プロトコル, 利用者名, 合言葉, ホスト, ポート) または null
PAC の URL: 絶対URLまたは null
除外ホストリスト: 0個以上のホストのリスト

[26] かつては Gopher や WAIS にも対応していることが多かったのですが、最近は見かけません。ソフトウェアの種類によっては、 POP、IMAP、SMTP、 IRC などの指定もできるかもしれません。

[30] Webブラウザー以外のクライアントは PAC や WPAD に対応していない場合も少なくありません。

[23] HTTP接続の処理やネットワーク設定も参照。

[54] chrome.proxy - Google Chrome (2016-06-17 11:12:10 +09:00) https://developer.chrome.com/extensions/proxy

WebDriver

[97] ChromeDriver は httpProxy にホスト:ポートを指定できます。 GeckoDriver は httpProxy にホスト、 httpProxyPort にポートを指定できます。(両方指定しないとエラーが帰ってきます。) WebDriver 仕様書は GeckoDriver の挙動の他に、 httpProxy に URL、 httpProxyPort 無指定、という指定方法ができると書いてありますが、 GeckoDriver はエラーを返します。 2017-03-09T14:18:14.400Z

[98] GeckoDriver は、 httpProxyPort を数値でなく文字列で指定してもエラーとします。2017-03-09T15:16:32.300Z

[100] GeckoDriver で httpProxy に ホスト:ポート を指定しても直ちにエラーとはなりませんが、プロキシに接続できず navigate でエラーになります。 2017-03-10T05:27:32.700Z

[99] ChromeDriver は httpProxyPort に対応していません。 2017-03-10T05:26:37.800Z

[74] WebDriver (2017-03-08 23:24:32 +09:00 版) https://w3c.github.io/webdriver/webdriver-spec.html#dfn-proxy-configuration
- [58] 旧 WebDriver (2016-07-22 07:24:31 +09:00) https://w3c.github.io/webdriver/webdriver-spec.html#dfn-set-the-proxy

名前

[104] プロキシの名前として、通常のホスト (ドメイン名やIPアドレス) の他に、真のホストを隠匿した識別子が使われる場合があります。これは、プロキシによって内部ネットワーク内の構造を外部に晒してしまうことを防ぐのが目的です。

詳しくはプロキシの名前を参照。

メモ

[2] もともと串というのは「プロクシ」の後半の音から取った俗語だけど、語呂がいいのですっかり定着してしまった。

[3] 派生語: 串刺し, 串規制

[5] 国内open proxyの現状 http://spam.h1r.org/jpproxy/index.html (名無しさん 2006-05-27 02:42:05 +00:00)

[34] draft-rpeon-httpbis-exproxy-00 - Explicit Proxies for HTTP/2.0 (2015-04-24 04:17:39 +09:00 版) http://tools.ietf.org/html/draft-rpeon-httpbis-exproxy-00

[37] Pretty-Bad-Proxy: An Overlooked Adversary in Browsers’ HTTPS Deployments - Microsoft Research (2015-09-13 00:16:48 +09:00 版) http://research.microsoft.com/apps/pubs/default.aspx?id=79323

[38] 713023 – Websockets: don't prefer SOCKS to HTTP proxy until bug 449251 is fixed (2015-09-14 23:36:09 +09:00 版) https://bugzilla.mozilla.org/show_bug.cgi?id=713023

[39] [chrome] Index of /trunk/src/net/proxy (2015-09-22 18:15:37 +09:00 版) http://src.chromium.org/viewvc/chrome/trunk/src/net/proxy/

[40] Secure Web Proxy - The Chromium Projects (2016-04-23 03:43:10 +09:00 版) https://www.chromium.org/developers/design-documents/secure-web-proxy

[41] Data Saver - Google Chrome (2016-04-23 17:44:55 +09:00 版) https://developer.chrome.com/multidevice/data-compression

[42] 378637 – Add support for connecting to HTTP proxy over HTTPS (2016-04-23 18:34:40 +09:00 版) https://bugzilla.mozilla.org/show_bug.cgi?id=378637

[43] Features/HTTPS - Squid Web Proxy Wiki ( (2016-05-07 01:33:40 +09:00)) http://wiki.squid-cache.org/Features/HTTPS

[44] cURL - How To Use ( (2016-05-31 06:05:05 +09:00)) https://curl.haxx.se/docs/manpage.html#--proxy10

--proxy1.0 <proxyhost[:port]>
Use the specified HTTP 1.0 proxy. If the port number is not specified, it is assumed at port 1080.
The only difference between this and the HTTP proxy option (-x, --proxy), is that attempts to use CONNECT through the proxy will specify an HTTP 1.0 protocol instead of the default HTTP 1.1.

[45] cURL - How To Use ( (2016-05-31 06:05:05 +09:00)) https://curl.haxx.se/docs/manpage.html#-x

-x, --proxy <[protocol://][user:password@]proxyhost[:port]>
Use the specified proxy.
The proxy string can be specified with a protocol:// prefix to specify alternative proxy protocols. Use socks4://, socks4a://, socks5:// or socks5h:// to request the specific SOCKS version to be used. No protocol specified, http:// and all others will be treated as HTTP proxies. (The protocol support was added in curl 7.21.7)
If the port number is not specified in the proxy string, it is assumed to be 1080.
This option overrides existing environment variables that set the proxy to use. If there's an environment variable setting a proxy, you can set proxy to "" to override it.
All operations that are performed over an HTTP proxy will transparently be converted to HTTP. It means that certain protocol specific operations might not be available. This is not the case if you can tunnel through the proxy, as one with the -p, --proxytunnel option.
User and password that might be provided in the proxy string are URL decoded by curl. This allows you to pass in special characters such as @ by using %40 or pass in a colon with %3a.
The proxy host can be specified the exact same way as the proxy environment variables, including the protocol prefix (http://) and the embedded user + password.