#スクレイピングで値が取れない
こんにちは!いつもお世話になっております!
プログラムは正常に動いているようにみえるのですが全く値を取ってきません。。
理由の検討がつかないのですがご教示いただけませんでしょうか。。
何卒宜しくお願い致します。
python
1import urllib.request, urllib.error 2import requests 3import csv 4import time 5 6from bs4 import BeautifulSoup 7 8with open('yokota_list.txt') as f: 9 for line in f.readlines(): 10 target_url = 'http://www.daruma-ito.co.jp/products/' + line 11 print(target_url) 12 13 14 r = requests.get(target_url) 15 soup = BeautifulSoup(r.text, 'lxml') 16 name = soup.find('div' , class_= 'title') 17 explaine = soup.find('p') 18 explaine2 = soup.find('ul') 19 imgage = soup.findAll('div' , class_='img') 20 21 for f in imgage: 22 for link in f.findAll('img'): 23 imgoutput = link.attrs['src'] 24 25 with open('aaaa.csv','a', encoding='cp932' ,newline='') as f: 26 writer = csv.writer(f) 27 writer.writerow([ name , explaine , explaine2 ,imgoutput]) 28
#リストの中身
txt
101-6200.php 201-6310.php 301-5550S.php 401-6380.php 501-5760.php 601-6320.php 701-5710.php 801-6330.php 901-6580.php 1001-6270.php 1101-6400.php 1201-6590.php 1301-6220.php 1401-6250.php 1501-6280.php 1601-6390.php 1701-5140.php 1801-5630S.php 1901-6230.php 2001-5230S.php 2101-6130.php 2201-5600.php 2301-6021S.php 2401-6031.php 2501-4110.php 2601-4150.php 2701-3160.php 2801-4040.php 2901-6360.php 3001-8963S.php 3101-4130.php 3201-4140.php 3301-3100.php 3401-4090.php 3501-4030.php 3601-6370.php 3701-3420.php 38
#追加支援希望
教えて頂いた方法で無事取得できたのですが・・・
文字化けが起こってしまいます。。
はじめ、cp932でとってたのですが、
「 'cp932' codec can't encode character '\xe5' in position 22: illegal multibyte sequence」
エラーがでたので、UTF-8にしてerrorsをignoreしてみたのですがうまくいきませんでした。。
お手数をおかけしますが宜しくお願い致します。
python
1with open('aaaa.csv','a' ,newline='',encoding='UTF-8', errors='ignore') as f: 2 writer = csv.writer(f) 3 writer.writerow([ name , explaine , explaine2 ,imgoutput])
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/08/02 04:44
2018/08/02 04:55
2018/08/02 06:07