S3

Edit New

S3

Web API

[3]

[4] XML を返します。 JSON にする方法はないようです。

[5] なお、非整形式XMLになることもある模様。

[6] ファイルの保存と取得だけで複雑なことをしないなら、実は返ってくる XML を見なくても HTTP だけで処理できます。 (エラー処理を考えると結局 XML の中身を見ないといけないのでは、と思ってしまいますが、あまり複雑な処理をさせないただのファイルストレージとして使うなら、 エラーが返ってくるのは本当に想定外の異常の場合だけなので、そのままログファイルに流せばよく、 プログラム的には XML の中身を見なくて済みます。)

Web ブラウザーからの直接アップロード

[18] Webブラウザーの利用者の権限で実行可能な操作を記述する JSON の書き方 >>16

[16] Creating a POST Policy - Amazon Simple Storage Service () http://docs.aws.amazon.com/AmazonS3/latest/API/sigv4-HTTPPOSTConstructPolicy.html

[19] フォームの例 >>17

[17] Examples: Browser-Based Upload using HTTP POST (Using AWS Signature Version 4) - Amazon Simple Storage Service () http://docs.aws.amazon.com/AmazonS3/latest/API/sigv4-post-example.html

[20] ここで使う署名の計算は AWS4。 Web API の要求送信時に使うものと同じだけど、 署名する対象が違う。

[21] 回数制限はないので、有効期限まで何度でも POST できます。

s3: URL scheme

[1] Feed exports — Scrapy 0.24.5 documentation ( 版) http://doc.scrapy.org/en/latest/topics/feed-exports.html#topics-feed-storage-s3

The feeds are stored on Amazon S3.

URI scheme: s3

Example URIs:

s3://mybucket/path/to/export.csv

s3://aws_key:aws_secret@mybucket/path/to/export.csv

メモ

[2] Amazon S3 REST API Introduction - Amazon Simple Storage Service () https://docs.aws.amazon.com/AmazonS3/latest/API/Welcome.html

[7] BashtonLtd/apt-transport-s3: S3 transport for APT ( ()) https://github.com/BashtonLtd/apt-transport-s3

The bucket repo should be specified using an s3:// prefix, for example:

deb s3://aptbucketname.s3.amazonaws.com/repo/ trusty main contrib non-free

[8] Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | Developers.IO () https://dev.classmethod.jp/cloud/aws/amazon-s3-folders/

[9] PUT Object - Amazon Simple Storage Service () http://docs.aws.amazon.com/AmazonS3/latest/API/RESTObjectPUT.html

[10] Amazon S3 専用のアカウントを作ってみよう (フェンリル | デベロッパーズブログ) () https://blog.fenrir-inc.com/jp/2013/01/amazon-s3-iam.html

[11] Amazon S3 バケットの使用 - Amazon Simple Storage Service () http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/UsingBucket.html

[12] Website Endpoints - Amazon Simple Storage Service () http://docs.aws.amazon.com/AmazonS3/latest/dev/WebsiteEndpoints.html

[13] S3 で (S3 だけで) 独自ドメインを使う場合は、 S3 バケット名をドメイン名にする必要があります。

[14] ただし 独自ドメインのTLS証明書が提供されるわけではありませんし、 設定する方法も用意されていません。しかもワイルドカード証明書は深い階層まで対応していないので、 foo.test.s3.amazonaws.com のような名前でのアクセスもクライアント側で service identity エラーになってしまいます。 クライアント側のエラーを回避したいときは https://s3.amazonaws.com/foo.test/ のような形式の URL を使うと良いです。

[15] バケットポリシーの例 - Amazon Simple Storage Service () http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/example-bucket-policies.html

[22] Amazon S3 イベント通知の設定 - Amazon Simple Storage Service () http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/NotificationHowTo.html

[23] 応答の x-amz-version-id の値を要求URL の query の versionId に指定すると、その版が返ってきます。 先頭一致でチェックしているようです。

[24] aws s3 ls - find files by modified date? · Issue #1104 · aws/aws-cli () https://github.com/aws/aws-cli/issues/1104

[25] GitHub - s3tools/s3cmd: Official s3cmd repo -- Command line tool for managing Amazon S3 and CloudFront services, https://github.com/s3tools/s3cmd

Updated: