[python]スクレイプがうまくいかない

Question

##スクレイプがうまくいかない…

URLが入力されたテキストファイル内のURLを読み込みスクレイプしたいです。
エラーもでなく、なにも値が返ってきません…。
このような場合は何から検証をすればいいでしょうか。。ご協力をお願いします。

textファイルの中身
https://m.tb.cn/h.3DTWNEq?sm=0ed820

import urllib.request, urllib.error
import requests
import csv
import time

from bs4 import BeautifulSoup

with open('url.txt') as f:
	for line in f.readlines():
		target_url = line.strip()
		print(target_url)
		
		
		html = urllib.request.urlopen(target_url).read()
		soup = BeautifulSoup(html, 'lxml')
		
		imgage = soup.findAll('ul' , id='J_UlThumb')
				
		for f in imgage:
			for link in f.findAll('img'):
				imgoutput = link.attrs['src']
				print(imgoutput)

				with open('images.csv','a', encoding='cp932' ,newline='') as f:
					writer = csv.writer(f)
					writer.writerow([imgoutput])
			
		

Comments

[hayataka2049]

ファイルには結果は書き込まれないんですか？

[Dadada_c.]

ご回答ありがとうございます！ファイル自体が出力されません。。。

[hayataka2049]

少なくとも print(target_url)の部分による表示は出ませんか。

[Dadada_c.]

print(target_url)　の部分は表示されますが、そのあと何も起きず終わってしまいます。

[t_obara]

ちなみに、コードの内容はご理解できているのでしょうか？理解できているのであれば、各ステップで期待通りのデータが取得できているか（既存の回答通り）確認すればよろしいかと。もしご理解できていないのであれば、まずは内容の理解を進めつつ、各ステップで何が返却されるべきなのか、それが正しく期待した内容なのかを確認していくことをお勧めいただいます。ちなみに、読み込んだファイルにURLリストが入っているのだと思いますが、うまくいかない場合には一つのURLに限って確認を進めるべきです。（確認コードは必要最小限にする）

Answer 1

このような場合は何から検証をすればいいでしょうか。

デバッガを使って少しずつ実行してみて変数の中味を見るか、
要所にprintを入れてみて、変数に想定通りのデータが入っているかを確認します。