スクレイピング

スクレイピング

[1] スクレイピングでLinkedInの公開情報を活用することに問題はないと裁判所が判断 - GIGAZINE () http://gigazine.net/news/20170816-linkedin-hiq-labs-data/

[2] 近年 Facebook (Meta) はスクレイピングが悪だと印象付けるプロパガンダを垂れ流しています。

[4] Facebook のデータをスクレイプして悪用する業者への対策を (おそらく意図的に) スクレイピング対策と称して実施し、それを広報しています。 (Facebook の優秀な技術者らがその違いを区別できないはずがないので、 おそらく戦略的に敢えて混同して曖昧に書いているのでしょう。)

[3] How We Combat Scraping | Meta, Mike Clark, April 15, 2021, https://about.fb.com/news/2021/04/how-we-combat-scraping/

[5] Deterring Scraping By Protecting Facebook Identifiers | Meta, Matthew S. Burriesci, September 8, 2022, https://about.fb.com/news/2022/09/deterring-scraping-by-protecting-facebook-identifiers/

[6] 技術者倫理とは。 (業者と Meta、どっちにも言っています。)


[7] 僕の自作ツールが大学のサーバーをダウンさせてしまった日の話|くりきん, https://note.com/_kurikin/n/n13c2270f1203?sub_rt=share_b

世間一般的に「スクレイピングをする際には、アクセス間隔を 1 秒以上空ける」ことを推奨されていることが多いような気がします。

[8] bulk_info.pdf, , https://warp.da.ndl.go.jp/bulk_info.pdf#page=6

収集対象機関ウェブサーバの負荷軽減のため、ダウンロードの間隔を 1秒以上あけます。