BeautifulSoupで画像を大量にダウンロードしたい

Question

###前提・実現したいこと
BeautifulSoupでオライリー社の本の表紙をまとめてダウンロードしたい。
Windowsにアナコンダをインストールして使っています。

###発生している問題・エラーメッセージ
ページをダウンロード中http://www.oreilly.com/animals.csp．．．
画像をダウンロード中http://covers.oreilly.com/images/9780596155452/cat.gif．．．
ページをダウンロード中http://www.oreilly.com/animals.csp．．．
表紙画像が見つかりませんでした。
ページをダウンロード中http://www.oreilly.com/animals.csp．．．
表紙画像が見つかりませんでした。

と表示され続け、画像が最初の1枚のみしか保存されない。
###該当のソースコード

#! python3
# downloadoreilly.py

from urllib.request import urlopen
import requests,os,bs4

url='http://www.oreilly.com/animals.csp' #開始URL
resp=urlopen(url)
os.makedirs('oreilly',exist_ok=True)     # ./oreillyに保存する

while not url.endswith('1000'):

    #ページをダウンロードする
    print('ページをダウンロード中{}．．．'.format(url))
    res=requests.get(url)
    res.raise_for_status()

    soup=bs4.BeautifulSoup(resp.read(), 'html.parser')

    #表紙画像のURLを見つける
    oreilly_elem=soup.select('.animal-row img')
    if oreilly_elem==[]:
        print('表紙画像が見つかりませんでした。')
    else:
        oreilly_url=oreilly_elem[0].get('src')
        #画像をダウンロードする
        print('画像をダウンロード中{}．．．'.format(oreilly_url))
        res=requests.get(oreilly_url)
        res.raise_for_status()

        #画像を./oreillyに保存する
        image_file=open(os.path.join('oreilly',os.path.basename(oreilly_url)),'wb')
        for chunk in res.iter_content(1000):
            image_file.write(chunk)
        image_file.close()

    

print('完了')

###補足情報(言語/FW/ツール等のバージョンなど)
http://www.oreilly.com/animals.cspを参照して表紙画像を全てダウンロードしたいと考えています。

Answer 1

サイトでは１ページあたり２０冊分の情報があるのに対して、コード上では、

 oreilly_url=oreilly_elem[0].get('src')

と、最初の１枚しかダウンロードしようとしていません。
対象となる分すべてをダウンロードするためには、oreilly_elemに対してループ処理してダウンロードしていく必要があります。

例(未確認):

for elm in oreilly_elem:
     oreilly_url = elm.get('src')
    # ダウンロード処理

Comments

[kisamasaki]

お返事ありがとうございます。色々試行錯誤してみましたが、画像の最後のみが保存され、残りが無視されているという状態です。

[attakei]

どんなファイル名のものを保存しようとしているか、正しく認識できていますか？

もう一度画像のURLを見て、そのファイル名の決定方法でやりたいことを正しくできるかを考えてみることをおすすめします。

Answer 2

直接的な回答ではないですが、
スクレイピングするときは、1秒程度はスリープ入れた方がいいと思います。