Q&A
技術的には、たどれるリンクをたどって欲しいものを探すしかないと思います。例えば、teratail では質問者のプロフィールからその人の他の質問を見れますが、そのページが提供されてなかったら、すべての質問をたどって目的の質問者の質問を探すことになり、運営者からすれば迷惑行為でしょうね…。
追記。そして、「すべての質問一覧」がなくて、例えば最新一週間分の一覧しか見れなければ、その範囲でなんとかするしかないですよね。
Python、スクレイピング初心者です。
ニュースサイトなどの一覧からニュースをスクレイピングする方法は分かったのですが、
例えば、teratailやQiitaのように、一覧で表示できない全ユーザーのプロフィールページのURL一覧を取得することは可能なのでしょうか？
可能なのであれば、どうすれば実現できますでしょうか？
参考になるものがあればご提示いただけると有り難いです。
よろしくお願いいたします。
回答3件
0
それならスクレイピングを行わずとも Web API を使って取得できます。Qiita ならこちらに、teratail ならこちらにドキュメントがあるのでこちらの利用を検討してみてください。スクレイピングはサーバーに負荷がかかりやすいため利用規約で禁止にしているところも多いようです。きちんと確認してから行いましょう。そしてその前に Web API が使えないかしっかり確認しましょう。
投稿2021/01/04 15:58
総合スコア2853
0
teratailの禁止事項に下記があります。
本サービスの他の利用者の情報の収集を目的とした行為
Qiitaの禁止事項に下記があります。
(1)他人の個人情報を盗用、収集、蓄積、変更、利用する行為、自分の個人情報や他の登録ユーザーの情報を不正に操作し、変更する行為
質問者さんの実現したいこと
例えば、teratailやQiitaのように、一覧で表示できない全ユーザーのプロフィールページのURL一覧を取得することは可能なのでしょうか？
可能なのであれば、どうすれば実現できますでしょうか？
はそれに該当するのではないかと思われます。（おそらく収集したURLからさらに情報を収集することが目的かと推察されます。）技術的に可能かどうかの前にやるべきではないかと思います。
投稿2021/01/04 15:56
総合スコア10607
例えば、と記載してある通り、1例として挙げさせていただいただけです。
terarailやQiitaでは行いませんし、その他サービスにおいても規約に反することを行う予定はありません。
> 例えば、と記載してある通り、1例として挙げさせていただいただけです。
サイトによってスクレイピングの具体的方法は変わるものと認識しています。ですので汎用的な方法を望まれるのであれば回答は難しいかと思います。
> terarailやQiitaでは行いませんし、その他サービスにおいても規約に反することを行う予定はありません。
では規約で禁止されていないサイト名を提示されると、よりよい回答が得られやすくなるかと思います。
0
あなたがやろうとしている行為はサイトの規約の前に不正アクセス行為の禁止等に関する法律に
抵触する可能性があります。
興味本位で安易にやるようなことではありません。
投稿2021/01/05 05:35
総合スコア418
あなたの回答
tips
プレビュー
