スクレイピングする際の注意点

Question

最近Pythonを使ったスクレイピングの記事をよく見ます。
スクレイピング=グレーというイメージで今までやってきませんでしたが、試しにやって見たいです。

スクレイピングしたいサイトで以下を確認して行えば良いかなと思ったのですが、他に確認しなければいけないことなどありますか？

• 利用規約にスクレイピングを禁止してないことを確認
• robots.txtにrobots.txt：Allow:/などが記載されてることを確認
• クローラーのUser-Agentに連絡先を明記する

以下の記事を参考にしています。
https://docs.pyq.jp/column/crawler.html

Answer 1

「利用規約にスクレイピングを禁止してないことを確認」についてですが、はっきりと「スクレイピング禁止」と書かれていることは稀です。”自動化によるアクセスは禁止”等と利用規約やガイドラインに書かれていることがあります。
また、それとは別に著作権等にも注意してください。複製・公開が禁止されていることもあります。

※サイトが禁止している行為が法的に問題となるかどうかについては専門家に相談してください。

Answer 2

調べられたならおそらく認識あるかとは思いますが、

• 興味本位でやってみようと思わないこと

グレーと言われていることの多くは黒と思って取り掛かったほうが良いです。
何か最悪な事態があったときに自分で責任取れるかどうかを考えて選択してください。

サイト規約に明示されてないから、robotsで対策してないから
OKだ

と思ったら大間違いです。
最低でも

• 公的にAPIが提供されていないか
• 許可を得る

くらいは必要ではないでしょうか。
私はAPIない時点で諦めます。

基本は
君子危うきに近寄らず

Answer 3

（よくない内容だったらしいため消します）

Comments

[退会済みユーザー]

一秒に一回がマナーなんてことは無いです。
しょぼいサーバなら普通に死にます。

[m.ts10806]

する側の勝手な都合なのでマナーも何も無いです。

[kai0310]

YouTubeの場合ですが利用規約で禁止されていますよ。

> 本サービスの利用には制限があり、以下の行為が禁止されています。自動化された手段（ロボット、ボットネット、スクレーパなど）を使用して本サービスにアクセスすること。ただし、（a）公開されている検索エンジンを YouTube の robots.txt ファイルに従って使用する場合、または（b）YouTube が事前に書面で許可している場合を除きます。
(引用: https://www.youtube.com/static?template=terms&hl=ja&gl=JP )

[BOLTE]

YouTubeの動画で見た内容で、それはYouTubeのスクレイピングではなく別のサイトでした。
これから自分も気をつけたいと思います。