icrawlerのGreedyImageCrawlerの処理が一生終わらない

Question

前提

icrawlerのGreedyImageCrawlerで、あるWEBページの画像をすべて取得しているのですが
全ての画像を取得し終えたのにもかかわらず、処理が一生終わりません。

実現したいこと

すべての画像を取得し終えたら処理を終えさせたいです。

発生している問題・エラーメッセージ

以下のような文章が一生生成され続けます。
2022-08-16 01:43:44,953 - INFO - downloader - downloader-001 is waiting for new download tasks
2022-08-16 01:43:45,721 - INFO - parser - parser-001 is waiting for new page urls
2022-08-16 01:43:47,736 - INFO - parser - parser-001 is waiting for new page urls
2022-08-16 01:43:49,740 - INFO - parser - parser-001 is waiting for new page urls
2022-08-16 01:43:49,963 - INFO - downloader - downloader-001 is waiting for new download tasks
2022-08-16 01:43:51,742 - INFO - parser - parser-001 is waiting for new page urls
2022-08-16 01:43:53,746 - INFO - parser - parser-001 is waiting for new page urls
2022-08-16 01:43:54,965 - INFO - downloader - downloader-001 is waiting for new download tasks
2022-08-16 01:43:55,750 - INFO - parser - parser-001 is waiting for new page urls

該当のソースコード

from icrawler.builtin import GreedyImageCrawler

greedy_crawler = GreedyImageCrawler(storage={'root_dir': 'a'})
greedy_crawler.crawl(domains='https://ja.wikipedia.org/wiki/%E3%82%A4%E3%83%8C', max_num=0,min_size=None, max_size=None)

Answer 1

これで正常な動作なのですね。
解答ありがとうございま！

Comments

[退会済みユーザー]

ごめんなさい、初めて使うのでベストアンサーではなく自己解決になってしまいました。

Answer 2

以下のような文章が一生生成され続けます。

使ったことはありませんが、恐らくそれで正常な動きをしています。

対策：
max_num=1000のように、取得するデータ数を制限してください。

根拠：
一般にクローラーは「あるだけ根こそぎデータをくみ取る」ソフトです。
なので「どこまで」の機能で絞る設定があることが多いはずです。
この場合、max_num=0と察しました。

リファレンスには0の場合の挙動が書いてありませんでしたが、ソースコードをたどるとここに行きつきます。

つまるところ、max_num=0の場合、無限ループでデータを収集し続けます。