mildomをスクレイピングするにあたって非同期通信用のリンクがあったら知りたい。

mildomのランキングサイトをスクレイピングしようと考えています。
言語はpythonです。

しかし、ランキングサイトゆえに、定期的にwebサイトが更新されるため、
非同期通信を行われていると思われます。

そうなるとbeautifulsoupを使用するとhtml補完が行われるためソースがブラウザと差異が生まれ、
うまくスクレイピングすることができません。

そのため、seleniumを使ってスクレイピングをしようと考えているのですが、
普通のサイトのままでやると、ソースが多くやりにくいです。

そこで、以前ツイキャスをスクレイピングした際に、非同期通信のajaxという技術が使われていて、
ランキングの情報だけが書かれているリンクが存在しました。

ツイキャス：普通のランキングサイト
https://twitcasting.tv/rankingindex.php
ツイキャス：ajax　ランキングサイト
https://twitcasting.tv/rankingajax.php?d=20210805&type=daily&genre=girls_jd_jp

知りたいこと
もし、mildomでもこのようなデータだけまとめられているような非同期通信のデータをやり取りの送信元のサイトがあったら教えてほしいです。
(自分も探してみたが、わからなかった。ちなみにツイキャスのリンクも人に教えてもらった。）

試したこと
検証で関係のありそうなurlを調べた。

行動規範の内容に同意します

回答1件

ベストアンサー

ランキングAPIが公開されていないのであれば、基本的に運営側としては汎用的なランキングデータを外部に公開するという意思がないのだと思います。外部の人が見つけるとしたらサイトのソースコードを見てそこから探すことくらいですが、そこにヒントがないのであれば諦めた方が良いと思います。

蛇足になりますが、スクレイピングは運営側にとっては場合によっては不正アクセスと見なす場合もあります。露骨にやるのは危険ですし、あまりこういう表だったサイトで具体的なサイト名を出してかつ具体的な手法を尋ねるのはよくないので、気をつけた方がいいでしょう。例えばここで具体的なサイト名と手法を書いてしまったら、みんながそれを真似して、運営サーバの負荷が一気に高まってしまう可能性があります。

参考）
https://qiita.com/nezuq/items/c5e827e1827e7cb29011

どうしてもスクレイピングの質問をするなら「固有名詞を出さず」に、かつ「一般的な方法論や手法」程度に留めるべきです。

投稿2021/08/13 10:59

編集2021/08/13 11:05