前提・実現したいこと
画像スクレイピングを行う際の、適切なアクセスの間隔とそのタイミング(コードのどの部分に入れたらよいか)が知りたいです。
発生している問題・エラーメッセージ
あるホームページで公開されている複数の画像を自動でダウンロードするコードを作成し、動作は問題ありません。 一方ネットや書籍を見ると、スクレイピング先に負担をかけないためにアクセスするごとにtime.sleep()を用いて何秒か間隔をあけることが必要とありました。 そこで、抽出したうちの1つのurlにアクセスして画像を保存し、次のurlにアクセスする前にtime.sleep(1)として間隔をあけるようにしました(下記ソースコードの最後)。 このタイミングは問題ないでしょうか。加えて、下記コード5行目のforループ中でlinks変数から.getを用いて画像urlを取得するタイミングでも入れたほうがよいでしょうか (ホームページへのアクセスが発生するのはrequest.get()でhtmlを取得した時で、links.get("href")でresponse変数に代入したローカル?のhtmlデータからurlを取り出す時には発生しないと考えているので、入れる必要はないと考えています)。 また、本コードではtime.sleep()の間隔を1秒としていますが(ネットで見かけるコードではそうしていることが多かったため)、より適切な間隔があればご教示いただきたいです。 以上よろしくお願いします。
該当のソースコード
python(コードの一部のみを引用しております)
1 2#対象のurlからHTMLを取得し、画像のurlを抽出、urlリストに格納 3 response = requests.get("対象のurl") 4 soup = BeautifulSoup(response.content,'lxml') 5 links = soup.findAll('a',href=re.compile('〇〇〇')) 6 7 for link in links: 8 url = link.get('href') 9 url_list += [url] 10 #time.sleep(1)←このタイミングでもtime.sleep()を入れるべきでしょうか。 11 12#抽出したurlにアクセスして画像を保存 13 length = len(url_list) 14 l_list = range(0,length) 15 16 for r in l_list: 17 nem = urllib.request.urlopen(url_list[r]).read() 18 with open("#画像の保存先", "wb") as f: 19 f.write(nem) 20 time.sleep(1) 21
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。