前提
icrawlerのGreedyImageCrawlerで、あるWEBページの画像をすべて取得しているのですが
全ての画像を取得し終えたのにもかかわらず、処理が一生終わりません。
実現したいこと
すべての画像を取得し終えたら処理を終えさせたいです。
発生している問題・エラーメッセージ
以下のような文章が一生生成され続けます。
2022-08-16 01:43:44,953 - INFO - downloader - downloader-001 is waiting for new download tasks
2022-08-16 01:43:45,721 - INFO - parser - parser-001 is waiting for new page urls
2022-08-16 01:43:47,736 - INFO - parser - parser-001 is waiting for new page urls
2022-08-16 01:43:49,740 - INFO - parser - parser-001 is waiting for new page urls
2022-08-16 01:43:49,963 - INFO - downloader - downloader-001 is waiting for new download tasks
2022-08-16 01:43:51,742 - INFO - parser - parser-001 is waiting for new page urls
2022-08-16 01:43:53,746 - INFO - parser - parser-001 is waiting for new page urls
2022-08-16 01:43:54,965 - INFO - downloader - downloader-001 is waiting for new download tasks
2022-08-16 01:43:55,750 - INFO - parser - parser-001 is waiting for new page urls
該当のソースコード
Python
1from icrawler.builtin import GreedyImageCrawler 2 3greedy_crawler = GreedyImageCrawler(storage={'root_dir': 'a'}) 4greedy_crawler.crawl(domains='https://ja.wikipedia.org/wiki/%E3%82%A4%E3%83%8C', max_num=0,min_size=None, max_size=None)

回答2件
あなたの回答
tips
プレビュー
下記のような回答は推奨されていません。
このような回答には修正を依頼しましょう。
また依頼した内容が修正された場合は、修正依頼を取り消すようにしましょう。
2022/08/16 03:20