[python]スクレイピングで取得できない

Question

#URLリストを読み込みスクレイピングしたい

いつもお世話になっております！
下記のコードでスクレイピングしたいのですがデータが出力されません。
別のサイトのデータをとってきたときはいけたのですが…
リストも読込みますし、エラーも出ないため解決方法がわからず質問させて頂きました。
宜しくお願い致します。

from bs4 import BeautifulSoup

with open('sd.txt') as f:
	for line in f.readlines():
		target_url = line.strip()
		print(target_url)
		
		
		html = urllib.request.urlopen(target_url).read()
		soup = BeautifulSoup(html, 'lxml')
		
		title = soup.findAll('span' , class_='product-name')
		imgage = soup.findAll('div' , id_='thumbnail_0')
				
		for f in imgage:
			for link in f.findAll('img'):
				imgoutput = link.attrs['src']

				with open('sd_img.csv','a', encoding='cp932' ,newline='') as f:
					writer = csv.writer(f)
					writer.writerow([title , imgoutput])
			

https://www.superdelivery.com/p/r/pd_p/4444756/
https://www.superdelivery.com/p/r/pd_p/4992513/
https://www.superdelivery.com/p/r/pd_p/4374220/
https://www.superdelivery.com/p/r/pd_p/5781450/
https://www.superdelivery.com/p/r/pd_p/5781475/

Comments

[m.ts10806]

回答依頼いただいて申し訳ないのですが、Pythonはほぼ未経験のため・・。

[Dadada_c.]

すみません＞＜ありがとうございます！失礼しました。。

[m.ts10806]

いえいえ。主にPHP（時々Java）ですが、JavaScriptとかフロントエンド技術が絡んでいれば回答できることもありますので、そういうときはどこかで力になれるかもしれません。

[Dadada_c.]

ありがとうございます！node.jsも勉強中です。またその際は、よろしくお願いします！

Answer 1

imgage = soup.findAll('div' , id_='thumbnail_0')

の行は

imgage = soup.findAll('div' , id='thumbnail_0')

の間違いではないでしょうか

Comments

[Dadada_c.]

お返事が遅くなり申し訳ありません。いつもありがとうございます！解決しました！

Answer 2

◇デバックの仕方。
どこまで正しく処理が行えているのかをprint文で変数の内容を確認しながら実行します。

今回確認すべき内容は実際に正しくコンテンツを取得できているか、各ループに入っているこの2点です。
コンテンツが取得できているかどうかはprint(html)を実行すれば分かります。
ループに入っているかどうかはprint文をループ内に置けば確認できます。

for f in imgage:
    print(f)

-imgage = soup.findAll('div' , id_='thumbnail_0')
+imgage = soup.findAll('div' , id='thumbnail_0')

class_に_が付いて、なぜidには_が付かないかと云うと、
Pythonの予約語としてclassがあるからです。

ファイルから対象のURLを取得する部分も改造してこんな感じになります。ご参考まで

# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import urllib
import csv


def scraping_urls():
    with open('sd.txt') as f:
        for line in f.readlines():
            yield line.strip()


for target_url in scraping_urls():
    print(target_url)
    html = urllib.request.urlopen(target_url).read()  # .decode('utf-8')
    soup = BeautifulSoup(html, 'lxml')
    title = soup.findAll('span', class_='product-name')
    imgage = soup.findAll('div', id='thumbnail_0')
    for f in imgage:
        for link in f.findAll('img'):
            print(link.attrs['src'])
            imgoutput = link.attrs['src']

            with open('sd_img.csv', 'a', encoding='cp932', newline='') as f:
                writer = csv.writer(f)
                writer.writerow([title, imgoutput])

◇デバック方法を体系的に学ぶには
udacityの無料コースのSoftware Debugging Class Onlineがお勧めです。

Comments

[Dadada_c.]

お返事が遅くなり申し訳ありません。解決しました！そういうことですね。。読み込んでいても、取得できなければ無視するなどの工程をまだ作れずにいます。。もっと勉強したいと思います。ありがとうございました
！今後ともよろしくお願い致します！

Answer 3

別のサイトのデータをとってきたときはいけたのですが…

今はデータをとれてきていたサイトとは別のサイトから、画像データとページのタイトルをとってこようとされている、ということで間違いないでしょうか？

BeautifulSoupのfindAllの第２引数（id名やclass名）の再確認はされたでしょうか？

Comments

[Dadada_c.]

ご回答ありがとうございます。はい。ご認識の通りです。第２引数は再確認しております。
何卒よろしくお願い致します。

[退会済みユーザー]

コメントで質問するつもりが、回答欄に投稿してしまいました！すみません！

たしかに、取得先のページを確認したところ、タグ等の指定には問題がないように思います。

申し訳ないですが、私ではお力になれそうにないです……