google画像検索スクレイピング

Question

googleの画像検索スクレイピングで２０枚しか一度にとってくることができないのはどうしたら解決できるでしょうか？

• 使用環境 python, beautifulsoup, requests

google及びbingの画像検索をした結果のurlをとってくると画像ファイルが20枚分しかとってこれないので、どうすればページ送りなどできるのでしょうか。
宜しくお願いします。

Comments

[Alisue]

最低限でも
- ソースコードの提示
- リクエストの詳細
- レスポンスの詳細
があると回答しやすいかと思います。
現状では回答者が同じようなコードを 1 から記載し、テストを行って「なにが問題なのか？」を調べる必要があり労力的に見合わないかと思います。

[sonor_3rd]

現状、どのように検索結果を取得しているのか解りません。まずはソースコードの記載をお願いします。

Answer 1

Google検索について独自のスクレイピングを行うのは規約違反のようです。正式にはGoogle Custom Search APIなるものがありますので、そちらをご利用ください。ただし、APIにもリクエスト数の制限があるようです。