質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

1571閲覧

画像スクレイピングを行う際の、適切なアクセス間隔(time.sleep())とそのタイミング

osuzu

総合スコア16

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2019/10/12 14:28

前提・実現したいこと

画像スクレイピングを行う際の、適切なアクセスの間隔とそのタイミング(コードのどの部分に入れたらよいか)が知りたいです。

発生している問題・エラーメッセージ

あるホームページで公開されている複数の画像を自動でダウンロードするコードを作成し、動作は問題ありません。 一方ネットや書籍を見ると、スクレイピング先に負担をかけないためにアクセスするごとにtime.sleep()を用いて何秒か間隔をあけることが必要とありました。 そこで、抽出したうちの1つのurlにアクセスして画像を保存し、次のurlにアクセスする前にtime.sleep(1)として間隔をあけるようにしました(下記ソースコードの最後)。 このタイミングは問題ないでしょうか。加えて、下記コード5行目のforループ中でlinks変数から.getを用いて画像urlを取得するタイミングでも入れたほうがよいでしょうか (ホームページへのアクセスが発生するのはrequest.get()でhtmlを取得した時で、links.get("href")でresponse変数に代入したローカル?のhtmlデータからurlを取り出す時には発生しないと考えているので、入れる必要はないと考えています)。 また、本コードではtime.sleep()の間隔を1秒としていますが(ネットで見かけるコードではそうしていることが多かったため)、より適切な間隔があればご教示いただきたいです。 以上よろしくお願いします。

該当のソースコード

python(コードの一部のみを引用しております)

1 2#対象のurlからHTMLを取得し、画像のurlを抽出、urlリストに格納 3 response = requests.get("対象のurl") 4 soup = BeautifulSoup(response.content,'lxml') 5 links = soup.findAll('a',href=re.compile('〇〇〇')) 6 7 for link in links: 8 url = link.get('href') 9 url_list += [url] 10 #time.sleep(1)←このタイミングでもtime.sleep()を入れるべきでしょうか。 11 12#抽出したurlにアクセスして画像を保存 13 length = len(url_list) 14 l_list = range(0,length) 15 16 for r in l_list: 17 nem = urllib.request.urlopen(url_list[r]).read() 18 with open("#画像の保存先", "wb") as f: 19 f.write(nem) 20 time.sleep(1) 21

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

以下の質問にて回答をいただき解決しました。
https://teratail.com/questions/216896

投稿2019/10/12 15:18

編集2019/10/12 15:23
osuzu

総合スコア16

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問