スクレイピングが可能なサイトの見分け方について

Question

実現したいこと

・スクレイピング可能なサイトの見分け方について教えて頂きたいです。

前提

利用規約などを見てスクレイピングが可能なサイトか、否か、見分けているのですが、初心者なので本当にスクレイピングしていいサイトなのか不安です。

試したこと

調べて、robots.txtを使い、そのサイトのスクレイピング可能か否か判断する。という記事を見ました。
例えば、アマゾンのサイトURL＋robots.txtをやってみると、「許可しない」という文字がいっぱい出てきて禁止サイトなのだと判断しました。

ですが、サイトURL+robots.txtで検索してもページが見つかりません。という表示だけでなにも出てこないサイトがあります。
例えば、国土交通省とかでやってみると、うまく表示ができませんでした。
国土交通省の利用規約を見ると、スクレイピングをしても良いみたいな文面は書いてあり、おそらく可能なサイトだとは思うのですが、利用規約を見る以外で、可能か禁止か確認する方法を教えて頂きたいです。
ここに問題に対して試したことを記載してください。

補足情報

スクレイピング可能なサイト、禁止のサイト、皆さんはどのように確認をしているのでしょうか？
是非、ご教授いただきたいです。

Comments

[meg_]

利用規約を確認するしかないかと思います。不明点があれば問い合わせてはどうでしょうか？

[TakaiY]

プログラミングについての質問ではないので、こういう質問は意見交換にしたほうがいいように思います。

[退会済みユーザー]

質問者さん、無言ですが、回答がいくつか出てますのでそれらに対するフィードバックを返してください。解決したなら解決に一番役に立った回答にベストアンサーをつけてクローズしてください。

Answer 1

スクレイピングを明示的に許可しているサイトは原則ないと思います。
許可している場合はそもそもAPIを提供していますので。

Answer 2

ごめんなさい。不要な情報でした

Answer 3

すが、利用規約を見る以外で、可能か禁止か確認する方法を教えて頂きたいです。

さすがに、利用規約を見る以外での確認方法はあり得ないでしょう。あとは、問い合わせるくらい。
それ以外の方法は、あくまで「推測」でしかないので。

調べて、robots.txtを使い、そのサイトのスクレイピング可能か否か判断する。という記事を見ました。

その記事を見てませんが、誤解してませんか？ robots.txtを使うというのはそのサイトのrobots.txtを取得してその中味の記述を見ると言うことでは？
robots.txt は、そこで許可と書かれている範囲であれば検索エンジンのクローラープログラムがアクセスしていいと言うことです。
それで取得したデータを検索エンジンの元ネタとして使って良いという意味なので、それで取得したデータを著作権フリー的な意味で全く自由に使って良いわけでは無いです。

まったく個人的な趣味での利用（取得データ他人にアクセス不可）であれば、robots.txtの範囲内であれば、とがめられる理由は思いつきませんが、取得した物が（検索エンジン以外の方法で）他人にアクセス可能なような利用目的であれば、robots.txtの記述は参考にならないでしょうね。

アクセス頻度の問題は全く別の話です。
・100人の人間がF5キーを毎秒5連打するのを1時間続ける
・1つのプログラムが1時間に1回アクセスする
のを比較すると、前者の方が攻撃と判断される可能性が高いです。
これは利用規約で「～～という頻度以上でのアクセスを禁止する」と書かれていなくても同じでしょう。
じゃあ、どれくらいの頻度以下ならOKかというのは判断できないです。

他の方が書かれている図書館の事件は、「並列処理無しで1秒1回程度という、普通これくらいなら大丈夫だろうという頻度」が、サイト側の不具合で障害を引き起こしたので、サイト側不具合のことまで想定するなら全くわからないです。障害はサイト側不具合が原因と言うことで起訴はされませんでしたが、逮捕はいやですよね。警察もこの事件で学んだと思いますが、全国に警察は沢山あるので、学んでない警察が逮捕するかも。

Answer 4

「していいかどうか」を他者が勝手に判断していいものではないので、外部向けのAPIが提供されてなければ基本NGと考えるべきと思います。
どうしても、必要に迫られるのであれば運営者に問い合わせること。

Answer 5

利用規約を見る以外で、可能か禁止か確認する方法を教えて頂きたいです。

利用規約を読んでも分からなければ、その辺りに詳しい法律の専門家 (あなたの組織の法務部門とか弁護士とか) に相談するとか、サイトの管理者に直接問い合わせるぐらいしか方法は無さそうに思います。

---

【追記】

スクレイピングは、サイトの管理者に許可を得ているとか、規約に従って専用の API にアクセスしているとかでなければ、迷惑行為になるかもしれない・・・ということは、こういう質問をするということは認識されているとは思いますが。

クローラーを作って某図書館サイトにアクセスしたら業務妨害とかで逮捕された事例もありますので、甘く見ない方がいいと思います。

逮捕までいかなくても、被害が深刻な場合は損害賠償の訴訟を受けるかもしれません。

訴訟までいかなくても、アクセス遮断ならWeb サーバーの設定で可能なので、多分に可能性はあると思います。帯域ごと遮断され、あなたのやったことで多数の利用者が巻き添えを喰らうことになるかもしれません。