質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

3回答

935閲覧

サイトに一覧がないものもPythonでスクレイピングできますか?

Natsu.mikan

総合スコア6

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2021/01/04 15:17

Python、スクレイピング初心者です。

ニュースサイトなどの一覧からニュースをスクレイピングする方法は分かったのですが、
例えば、teratailやQiitaのように、一覧で表示できない全ユーザーのプロフィールページのURL一覧を取得することは可能なのでしょうか?

可能なのであれば、どうすれば実現できますでしょうか?
参考になるものがあればご提示いただけると有り難いです。

よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

hoshi-takanori

2021/01/05 02:05 編集

技術的には、たどれるリンクをたどって欲しいものを探すしかないと思います。例えば、teratail では質問者のプロフィールからその人の他の質問を見れますが、そのページが提供されてなかったら、すべての質問をたどって目的の質問者の質問を探すことになり、運営者からすれば迷惑行為でしょうね…。 追記。そして、「すべての質問一覧」がなくて、例えば最新一週間分の一覧しか見れなければ、その範囲でなんとかするしかないですよね。
guest

回答3

0

それならスクレイピングを行わずとも Web API を使って取得できます。Qiita ならこちらにteratail ならこちらにドキュメントがあるのでこちらの利用を検討してみてください。スクレイピングはサーバーに負荷がかかりやすいため利用規約で禁止にしているところも多いようです。きちんと確認してから行いましょう。そしてその前に Web API が使えないかしっかり確認しましょう。

投稿2021/01/04 15:58

A_kirisaki

総合スコア2853

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Natsu.mikan

2021/01/05 00:01

説明不足で申し訳ございません。 例として2つのサービスを挙げておりまして、WebAPIがないサービスでしたらどのように実現できますでしょうか。
guest

0

teratailの禁止事項に下記があります。

本サービスの他の利用者の情報の収集を目的とした行為

Qiitaの禁止事項に下記があります。

(1)他人の個人情報を盗用、収集、蓄積、変更、利用する行為、自分の個人情報や他の登録ユーザーの情報を不正に操作し、変更する行為

質問者さんの実現したいこと

例えば、teratailやQiitaのように、一覧で表示できない全ユーザーのプロフィールページのURL一覧を取得することは可能なのでしょうか?

可能なのであれば、どうすれば実現できますでしょうか?

はそれに該当するのではないかと思われます。(おそらく収集したURLからさらに情報を収集することが目的かと推察されます。)技術的に可能かどうかの前にやるべきではないかと思います。

投稿2021/01/04 15:56

meg_

総合スコア10760

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Natsu.mikan

2021/01/05 00:04 編集

例えば、と記載してある通り、1例として挙げさせていただいただけです。 terarailやQiitaでは行いませんし、その他サービスにおいても規約に反することを行う予定はありません。
meg_

2021/01/05 04:48 編集

> 例えば、と記載してある通り、1例として挙げさせていただいただけです。 サイトによってスクレイピングの具体的方法は変わるものと認識しています。ですので汎用的な方法を望まれるのであれば回答は難しいかと思います。 > terarailやQiitaでは行いませんし、その他サービスにおいても規約に反することを行う予定はありません。 では規約で禁止されていないサイト名を提示されると、よりよい回答が得られやすくなるかと思います。
guest

0

あなたがやろうとしている行為はサイトの規約の前に不正アクセス行為の禁止等に関する法律
抵触する可能性があります。
興味本位で安易にやるようなことではありません。

投稿2021/01/05 05:35

kaina

総合スコア418

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問