Webスクレイピングの規約とAPIの提供について

Question

Pythonを初めて数日の初心者で、プログラミングも勉強始めたばかりです。
最終的にWebスクレイピングができるようになりたいと思っています。

■Webスクレイピングやクローリングはちゃんと規約を確認してからやらないと法律違反になるということは分かりました。

そこで２点質問なのですが、
①ガイドラインがきちんとないサイトとかでも、例えば自分のスキルが後々ついたとして、どこかの会社でそのデータをデータ分析とかに使用したりすることは違法になるのでしょうか？

②Instagramや価格コムなど、APIをもともと提供していたけど、終了したサイトがすごい多いんだな。と感じたのですが、APIを終了しているところは基本クローリング、スクレイピングしないでね。という意図があってなのでしょうか？

超超超初歩的な質問で大変恐縮なのですが(´;ω;｀)、周りに聞ける人がいないので、どなかた教えていただけると大変うれしいです。

宜しくお願いします。

Comments

[m.ts10806]

>最終的にWebスクレイピングができるようになりたい

プログラミングの最終目標がスクレイピングという時点で
「個人の責任で頑張って」となると思います。
それだけグレー（場合により黒）な部分が多い概念です。

[pythonbegginer]

ありがとうございます。どうやらグレーな部分が多いようですね涙。
そこも含め色々勉強していきたいと思います。ありがとうございます。

Answer 1

①ガイドラインがきちんとないサイトとかでも、例えば自分のスキルが後々ついたとして、どこかの会社でそのデータをデータ分析とかに使用したりすることは違法になるのでしょうか？

合法・違法の判断をここで質問するのは筋が悪いと思います。
ここは「プログラミングに関する質問」をする場所であって、法律のことは法律の専門家に相談しましょう。

専門家以外の素人が「合法だ」「違法だ」といくらいったところで、信じられる根拠が薄いです。
（法律・条例等を示しているならともかく）

②Instagramや食など、APIをもともと提供していたけど、終了したサイトがすごい多いんだな。と感じたのですが、APIを終了しているところは基本クローリング、スクレイピングしないでね。という意図があってなのでしょうか？

個別の事情はサービス提供元ごとに確認しないと知りようがありません。
むしろAPIを提供するというのは正規のデータ提供窓口を用意していることになるわけで、データを提供する意思があってスクレイピングを防ぎたいならAPIをやめることは無いんじゃないですかね。

Comments

[pythonbegginer]

丁寧な回答ありがとうございます。おっしゃる通りですね。

スクレイピングをできるように初めてみてわかったことがたくさんあり、使えたらすごく便利になることが多いと思っていましたがそれ以上にリスクが大きそうな気がします。

色々教えてくださり感謝です。ありがとうございます。

Answer 2

法的な解釈は法律家に相談してください。

初学者の行うスクレイピングは、(スクレイピングする側もされる側も)百害あって一利もないです。
自身で運営しているサイトにスクレイピングされることもありましたが、最近はbotトラップを作るのを楽しんでいます。(ほいほい入っていくのを見るのはちょっと楽しいｗ)
スクレイピングする側は、壊れたデータを手に入れることになりますが、原因追求するのは無理だと思います。

参考：
4.面白そう！で学習教材(サンプルシステム)を選ぶな！ - 「ググれ」って言われてググるな！【初学者べからず集 その１】

Comments

[pythonbegginer]

回答ありがとうございます。そうなんですね。

botトラップ！？そんなレベルが高い方にお答えいただき恐縮です。
スクレイピングを初めてから、初めてリスクのほうが多いということがわかりました。そこも含めプログラミング自体を頑張って勉強していきたいと思います。

ありがとうございます。