Q&A
どのようなコードをかいたのか示していただけると、みなさんが解答しやすくなると思います。
上記のURLからそのユーザーのフォロワー数を取得したいのですが取得できず困っております。
webスクレイピングは初心者でhtmlのどの部分にフォロワーの情報が乗っているのかやどのように取得すればいいのか分かりません。
requestsのgetメソッドでURLの情報を取得することはできました。
お知恵をお貸し頂けると幸いです。
よろしくお願いします。
twitterは規約によりwebスクレイピングを禁止しています。
https://twitter.com/ja/tos
twitter APIを用いて同様のことを実現する必要があります。
禁止されてるんですね。コードを書いてしまいました笑
もしやるなら方針は次のような感じになりますが
10人単位以上のユーザのデータを抜き出したいなら、
1) まず、ブワウザのデベロッパモードを使い、HTML のどこにフォロワー数が書かれているかを探します。
https://prog-8.com/docs/html-dev
2) 正規表現 re か HTML の構文解析ツール Beautiful Soup を使って抜き出す。
というのが作業の流れですね。10 行にも満たないコードです。
データを抜き出すだけなら、大抵のスクレイピングの作業は同じですね。
Twitter で、やったらダメですけど。
アカウント登録、頑張ってください笑
Twitter API 登録 (アカウント申請方法) から承認されるまでの手順まとめ - Qiita
https://qiita.com/kngsym2018/items/2524d21455aac111cdee
回答1件
0
コメントにあるように、Twitterではwebスクレイピングが禁止なので回答不可です。
投稿2019/12/08 12:53
総合スコア1029
あなたの回答
tips
プレビュー
