複数の画像をスクレイピングで保存したいが、どのサイトでもできない理由がわからない。

Question

やりたいこと

スクレイピングを使用して大量の画像を取得したいのですがいくつか参考にしても、画像を保存することができません。

環境

・wsl1
・windows 10 home
・vscode
・pytho3.6以上
・パッケージの確認

Package        Version
-------------- ---------
beautifulsoup4 4.9.1
certifi        2020.6.20
chardet        3.0.4
idna           2.10
lxml           4.5.2
pip            20.1.1
pkg-resources  0.0.0
requests       2.24.0
setuptools     39.0.1
soupsieve      2.0.1
termcolor      1.1.0
urllib3        1.25.10

参考にしたサイト

1.最初に参考にしたサイト
こちらをもとにスクリプトをコピペさせていただいて現在の作業環境で実行しました。(dataset.py)

python dataset.py -s cat -n 10 -o ./data

こんな感じでするとdataフォルダの中にcatというフォルダがつくられていましたが、とくに中に写真があるわけでもありませんでした。
特にエラーも出ているわけでもないですし、理由がわからないです。

2.次に参考にしたサイト

こちらも同様にしてコピペして使わせてもらいましたが同様に動きませんでした。
動かないというのはエラーがデルわけでもなく、dataフォルダの中に画像がスクレイピングして保存されていないです。

python image_collect.py -t cup -n 10

実行結果

--------------------------------------------------
              Image Collector v1.0.0
--------------------------------------------------
Searching cup.
No more images.
Found 0 images.
Download complete.
Successful: 0 images.

以上を打ち込むとcupが10枚入るのかと思いきややっぱりありませんでした。このときもdataの中にcupというフォルダがつくられていましたが上記結果しかかえってきませんでした。

まとめ

これらのサイトを参考にしましたが、思うように画像を保存できなかったため、お助けを願いたいです。
どうか皆さんのご協力をよろしくお願いいたします。
また、初心者ですので、至らない点がありましたらご指摘していただければと思います。

Comments

[Penpen7]

googleの仕様変更のため、そういう類のものは使えなくなることがしばしばあります。

[oinari03]

なるほど。そういうことだったのですね....
ありがとうございます。yahooなどでは可能でしょうか.

[Penpen7]

Yahooではスクレイピングは陽には禁止されていなかったように思います。
Yahooにおけるスクレイピングも検索すると色々ヒットします。

[oinari03]

了解しました。ありがとうございます。

Answer 1

どちらもGoogle経由で画像を取得しようとしてますが、Google検索への機械的なアクセスは利用規約違反です。

Google の利用規約では、自動化されたクエリはその種類にかかわらず、Google からの明示的な許可を事前に得ることなく Google のシステムに送信することが禁止されています。（Search Consoleヘルプ）

Comments

[oinari03]

ありがとうございます。yahooやその他のさいとでは可能でしょうか