スクレイピング(画像)でfor link in soup.find("img"):の行でエラーがでてしまいます。

Question

ヤフーの画像検索画面から
一枚目の画像だけを
スクレイピングしたいという事で
ググってみました。
こちらを参照しました。
https://su-gi-rx.com/archives/976

そして下のコードを書きました。

import requests # urlを読み込むためrequestsをインポート
from bs4 import BeautifulSoup # htmlを読み込むためBeautifulSoupをインポート

image_seach_urls = []
#別のコードでyahoo画像検索の検索ワードを変えて作成した複数のURLが格納されています

images = [] # 画像リストの配列

for image_seach_url in image_seach_urls:
  soup = BeautifulSoup(requests.get(image_seach_url).content,'lxml') # bsでURL内を解析

for link in soup.find("img"): # imgタグを取得しlinkに格納
    if link.get("src").endswith(".jpg"): # imgタグ内の.jpgであるsrcタグを取得
        images.append(link.get("src")) # imagesリストに格納
    elif link.get("src").endswith(".png"): # imgタグ内の.pngであるsrcタグを取得
    	images.append(link.get("src")) # imagesリストに格納

for target in images: # imagesからtargetに入れる
    re = requests.get(target)
    with open('img/' + target.split('/')[-1], 'wb') as f: # imgフォルダに格納
        f.write(re.content) # .contentにて画像データとして書き込む

print("ok") # 確認

こちらを実行しても

    for link in soup.find("img"): # imgタグを取得しlinkに格納
TypeError: 'NoneType' object is not iterable

こういったエラーが出てしまいます。

エラーの内容をググったら

デフォルト引数が渡されなかった場合に
発生するエラー。値はNoneのみとのこと
といったような内容が出てきます

yahooの画像検索画面の
開発者ツールのコードを見ると
ちゃんと画像がimgタグにあったのが
確認できたので

残り考えられる点
として三行目の
image_seach_urls = []
に問題があるということでしょうか？

もし問題があるとしたら
心あたりがあり
image_seach_urls = []の中身を
print(image_seach_urls)で実行すると

['https://search.yahoo.co.jp/image/search?p=aaa&fr=top_ga1_sa&ei=UTF-8&ts=', 
'https://search.yahoo.co.jp/image/search?p=bb bb&fr=top_ga1_sa&ei=UTF-8&ts=', 
'https://search.yahoo.co.jp/image/search?p=c c c&fr=top_ga1_sa&ei=UTF-8&ts=', 
.
.
.
'https://search.yahoo.co.jp/image/search?p=zzzz zzz&fr=top_ga1_sa&ei=UTF-8&ts=']

このようにsearch?p=以降の部分を
私の検索したいワードに変更された状態で出てくるのですが

ワードの間に空白があるものがあり
一つのURLになってないような気がします
実行結果でURLにカーソルをあてても
URL一行すべてに下線が入らないからです

でも、このURLをコピペして検索すると
ちゃんと検索されるので大丈夫かなと
思ってたのですが、
これがエラーの原因になってる可能性って
あると思いますか？

教えていただけると幸いです。
宜しくお願い致します。

最終的に私のやりたいことは、
検索ワードを変え、それぞれ一枚ずつ
スクレイピングしていきたいのですが
ひとまずは、今出てるエラーを解消したいです。

長文失礼いたしました。

Answer 1

soup.find("img")は最初の1個を取り出すので、それをforで回すのは、そもそも間違っています。
forで回すなら

for link in soup.find_all("img"):

ですね。こう変更すれば今よりは進むはずです。

Comments

[dd_]

ご回答ありがとうございます。
サイトにはfind_allで載ってたのですが
私の場合、画像検結果の最初に一枚目の画像だけを
読み込みたいのでfindにしてたのですが

ご回答からすると
find でコードを書く場合はforで回すべきではない
という理解であってますでしょうか？？

ものすごく基礎的な質問ですみません。

Answer 2

そもそもfindはリストを返さず、1つの要素だけ返すので、for ～ inで繰り返すことが出来ません。というか、1つしかないのに、繰り返そうと思う発想がおかしいです。

先頭の1つだけを処理するなら、link = soup.find("img")でしょうか。

ただ、soup.find("img")の結果がNoneつまり、imgタグが無いので、駄目です。

yahooの画像検索画面の開発者ツールのコードを見るとちゃんと画像がimgタグにあったのが確認できたので

それは何の確認にもなっていません。
print(requests.get(image_seach_url).content)を実行して、その出力結果のHTMLを見ましょう。
そこにimgタグが無いと言うことでしょう。

おそらくは、JavaScriptで動的に追加されたノードだと思うので、requests+bs4でなく、
SeleniumのようなJavaScriptを処理可能なツールを使いましょう。

Comments

[dd_]

いつもご丁寧にありがとうございます。
とても参考になりました。
もう一度勉強しなおします。