[python]スクレイピングで値が取れない

Question

#スクレイピングで値が取れない

こんにちは！いつもお世話になっております！
プログラムは正常に動いているようにみえるのですが全く値を取ってきません。。
理由の検討がつかないのですがご教示いただけませんでしょうか。。
何卒宜しくお願い致します。

import urllib.request, urllib.error
import requests
import csv
import time

from bs4 import BeautifulSoup

with open('yokota_list.txt') as f:
	for line in f.readlines():
		target_url = 'http://www.daruma-ito.co.jp/products/' + line
		print(target_url)
		
		
		r = requests.get(target_url)
		soup = BeautifulSoup(r.text, 'lxml')
		name = soup.find('div' , class_= 'title')
		explaine = soup.find('p')
		explaine2 = soup.find('ul')
		imgage = soup.findAll('div' , class_='img')
		
		for f in imgage:
			for link in f.findAll('img'):
				imgoutput = link.attrs['src']

				with open('aaaa.csv','a', encoding='cp932' ,newline='') as f:
					writer = csv.writer(f)
					writer.writerow([ name , explaine , explaine2 ,imgoutput])

#リストの中身

01-6200.php
01-6310.php
01-5550S.php
01-6380.php
01-5760.php
01-6320.php
01-5710.php
01-6330.php
01-6580.php
01-6270.php
01-6400.php
01-6590.php
01-6220.php
01-6250.php
01-6280.php
01-6390.php
01-5140.php
01-5630S.php
01-6230.php
01-5230S.php
01-6130.php
01-5600.php
01-6021S.php
01-6031.php
01-4110.php
01-4150.php
01-3160.php
01-4040.php
01-6360.php
01-8963S.php
01-4130.php
01-4140.php
01-3100.php
01-4090.php
01-4030.php
01-6370.php
01-3420.php

＃追加支援希望

教えて頂いた方法で無事取得できたのですが・・・
文字化けが起こってしまいます。。
はじめ、cp932でとってたのですが、

「 'cp932' codec can't encode character '\xe5' in position 22: illegal multibyte sequence」

エラーがでたので、UTF-8にしてerrorsをignoreしてみたのですがうまくいきませんでした。。
お手数をおかけしますが宜しくお願い致します。

with open('aaaa.csv','a' ,newline='',encoding='UTF-8', errors='ignore') as f:
					writer = csv.writer(f)
					writer.writerow([ name , explaine , explaine2 ,imgoutput])

Answer 1

target_urlに改行コードが含まれていることでエラーが起こっている可能性はありませんか？

target_url = 'http://www.daruma-ito.co.jp/products/' + line.strip()

のように line の箇所を line.strip() にして修正してみてください。

Comments

[Dadada_c.]

ありがとうございます！とれました！
ですが・・・別件で申し訳ないのですが、文字化けがおきてしまうのをどうすればいいか教えてもらえませんか？追記しましたので、宜しくお願い致します。

[magichan]

soup = BeautifulSoup(r.content, 'lxml', from_encoding='utf-8')
としてみてください

[Dadada_c.]

ありがとうございます！できました！そうやってかけばいいんですね！勉強になりました！今後ともよろしくお願いいたします！