[5] ondemand.saucelabs.com は http しかなくて https にする方法がないみたいだけどいいのか・・・? 2014/10/30

[6] Selenium::Remote::Driver という便利そうなモジュールがあるが LWP かつ Moo だ・・・。 2014/10/30

[1] Sauce Labs:

• WebDriver Wire Protocol <https://code.google.com/p/selenium/wiki/JsonWireProtocol#POST_/session/:sessionId/timeouts> でブラウザーを操作できる
• Perl モジュールはあるが微妙
• 簡単な HTTP API を叩くだけで良いので、自前で実装するのでよさそう
• HTTP だけで、 HTTPS の API が提供されていない
  • パスワードなど転送するのはちょっと躊躇してしまう...

[2] Sauce Connect:

• 手元のいくつかの TCP ポートと Sauce 側の TCP ポートでポート転送する
• 手元で実行するだけでいい感じにやってくれるが、ほぼ無設定で全部やってくれて逆に怖いw
  • 向こうで http://localhost:5000/ にアクセスしたらなぜかこちらの http://localhost:5000/ にアクセスが来るすごいやつ
  • しかもこちらの /etc/hosts が向こうでのアクセスにも反映されるとか何とか
• 通信路は HTTPS なのでそこはまあ良かろう
• 手元の開発環境でこれを実行するのはちょっと怖い

[3] というのをふまえて

• (テストA群) その場で起動したアプリケーションサーバー + 直接HTTPアクセスのテスト
  • 外部テストと呼ばれることがあるやつ
  • アプリケーションサーバー側がちゃんと動作することを確認する
• (テストB群) その場で起動したアプリケーションサーバー + ブラウザー + Selenium 経由アクセスのテスト
  • クライアント側スクリプトまで含めてちゃんと動作することを確認する
• (テストC群) 起動済みアプリケーションサーバー + 直接HTTPアクセスのテスト
• (テストD群) 起動済みアプリケーションサーバー + ブラウザー + Selenium 経由アクセスのテスト

というテストを書いて

• 開発中に手元の開発環境で動かす
  • テストA群
  • テストB群を手元のどれか1つのブラウザーで
• CI 環境で push のたびに自動実行する
  • テストA群
  • テストB群を Sauce Labs + Sauce Connect で全部のブラウザーで
• デプロイ後に自動実行する
  • テストC群
  • テストD群を Sauce Labs で全部のブラウザーで

という感じで実行するのが良いか。

A/C はブラウザー以外からのアクセスのテスト、境界ケースやセキュリティーに関わる場合のテストに必要である。ブラウザーが不要な分速いので、ブラウザーが必要ないサーバー側の基本動作のテストはこちらの方法で書くべきである。B/D は実際の人間利用者のアクセスに近いので、こちらのテストは必要である。 JavaScript や表示中のユーザー操作が関わる動作のテストもこちらでしか書けない。

A/B と C/D の違いはアプリケーションサーバーの起動のタイミング以上に、接続されているDBの違いがある。本番環境でのテストはユーザーに見えてしまうことがあるので、慎重にしなければならないし、テストできない動作もある。そのため本番環境で実行され得るテストとそれ以外のテストは分ける必要がある。開発中には任意の状態を作り出したいので、基本的には A/B の方法で書くべきである。しかし本番環境特有の問題が見つかることはよくあるので、 C/D も必要ではある。デプロイ後にロールバックするかどうかの判断はできるだけ早く行いたいので、 C/D のテストは少ない方が良い。 2014/10/30

[4] ただこういう使い方をするのに Sauce Labs の料金プランは高すぎる。 CI で常時チェックしたいなら、他の CI プラットフォーム上で Web ブラウザー + WebDriver サーバーを自前で動かした方がコストパフォーマンスは圧倒的に優れている。 (ただしいろいろなプラットフォームの Web ブラウザーが揃っているという Sauce Labs の圧倒的なメリットがある。)

[7] Pricing | Sauce Labs (2017-09-30 12:53:04 +09:00) <https://saucelabs.com/pricing>

[8] Test with Sauce Labs - CircleCI (2017-09-29 11:16:08 +09:00) <https://circleci.com/docs/1.0/browser-testing-with-sauce-labs/>

[9] Sauce Labs やっぱり CI には高すぎるよなあ。