Q&A機械学習用の画像を集めるのにicrawlerが便利だった
を参考にしながら、linuxでicrawlerを使おうとしたのですが、下のコードを実行するとエラーは出ないのですが、画像が集まりません。
python3
1from icrawler.builtin import GoogleImageCrawler 2 3crawler = GoogleImageCrawler(storage={"root_dir": "images"}) 4crawler.crawl(keyword="猫", max_num=100)
実行結果
2020-04-03 03:42:48,348 - INFO - icrawler.crawler - start crawling... 2020-04-03 03:42:48,350 - INFO - icrawler.crawler - starting 1 feeder threads... 2020-04-03 03:42:48,352 - INFO - feeder - thread feeder-001 exit 2020-04-03 03:42:48,353 - INFO - icrawler.crawler - starting 1 parser threads... 2020-04-03 03:42:48,357 - INFO - icrawler.crawler - starting 1 downloader threads... /root 2020-04-03 03:42:49,055 - INFO - parser - parsing result page https://www.google.com/search?q=%E7%8C%AB&ijn=0&start=0&tbs=&tbm=isch 2020-04-03 03:42:51,093 - INFO - parser - no more page urls for thread parser-001 to parse 2020-04-03 03:42:51,094 - INFO - parser - thread parser-001 exit 2020-04-03 03:42:53,366 - INFO - downloader - no more download task for thread downloader-001 2020-04-03 03:42:53,367 - INFO - downloader - thread downloader-001 exit 2020-04-03 03:42:53,371 - INFO - icrawler.crawler - Crawling task done!
imagesフォルダーが作成されてその中に猫の画像が保存されるはずですが、画像が保存されていないし、imagesフォルダーも作成されていません
これはなんででしょうか？
回答1件
0
自己解決
現在、googleの仕様が変わりicrawlerは使えなくなっています。
代わりに、beingCrawlerを使用しました
python
1from icrawler.builtin import BingImageCrawler 2crawler = BingImageCrawler(storage={'root_dir': 'dog'}) 3crawler.crawl(keyword="犬", max_num=10)
投稿2020/04/06 04:39
総合スコア134
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。