あるサイトからスクレイピング ？を行おうと思っています。

Question

あるアプリの分析を行っています。

アプリがどのような通信をしているのか調べurlを取得できました。

webでそのurlを検索するとjsonデータが表示され欲しいデータがありました。

次はpythonのBeautifulSoup　とrequestsを使ってデータの取得を試みています。

r = requests.get(url)

ここの時点で、

'{"data":{"items":[]}

となってデータがないことが分かりました。

urlを確認してwebで検索するとデータが存在しています。

スクレイピング防止の技術なんだろうとは思うのですが、どのようにすれば取得できるのでしょうか？

Answer 1

javascriptなどで動的にページを生成していると思われます。requestsでは静的なデータしか取得できないので対応できないでしょう。
やるとしたらブラウザベースのseleniumなどで動作をシミュレートして取得する必要があります。

Comments

[Yuiti628]

なるほど　(T . T)

最近は凄いですね

seleniumの勉強をしてきます！

Answer 2

そもそもですが、

スクレイピング防止の技術なんだろうとは思うのですが

防止対策をしているようなサイトはスクレイピングを許可していないので、そこに潜り込もうとするのは、鍵がかかってる家に忍び込もうとするのと等しいです。
鍵がかかってなくても他人の家に勝手に入るのは罪ですけどね。

スクレイピングは勝手に入った上でその中を物色する行為だと個人的には認識してます。

あまり良い例えではないですし、例えを使うべきではないですが、
なんでもかんでもスクレイピングと言うのはトラブルのもとです。
先の規約を確認し、提供されているAPIがそれを使うのがマナーですし、
なければ必ず管理者・運営者に確認すべきだと思います。