Google Custom Search APIを用いて画像を収集するプログラムを作ったがエラーで収集できない

Question

画像を収集するためにGoogle Custom Search APIを用いてプログラムを組みました。
しかし、下記のようなエラーが出てしまいうまく動きません。解決方法をアドバイス頂けると幸いです。

「環境」
MacOSX High Sierra 10.13.6
Python 3.6

「エラー」

Traceback (most recent call last):
  File "google_api.py", line 19, in <module>
    items_json = requests.get(API_PATH, PARAMS).json()["items"]
KeyError: 'items'

「ソース」

import requests
import shutil

API_PATH    = "https://www.googleapis.com/customsearch/v1"
PARAMS = {
  "cx" : "xxxx:xxxx", #検索エンジンID
  "key": "xxxxxxxxx", #APIキー
  "q"  : "映画", #検索ワード
  "searchType": "image", #検索タイプ
  "start" : 1, #開始インデックス
  "num" : 10   #1回の検索における取得件数(デフォルトで10件)
}
LOOP = 100
image_idx = 0

for x in range(LOOP):
  PARAMS.update({'start': PARAMS["num"] * x + 1})
  items_json = requests.get(API_PATH, PARAMS).json()["items"]
  for item_json in items_json:
    path = "imgs/" + str(image_idx) + ".png"
    r = requests.get(item_json['link'], stream=True)
    if r.status_code == 200:
      with open(path, 'wb') as f:
        r.raw.decode_content = True
        shutil.copyfileobj(r.raw, f)
      image_idx+=1

Answer 1

KeyError: 'items'

LOOP = 100
image_idx = 0

for x in range(LOOP):

1検索キーワードの上限(100件)に達してAPIから結果を取得できなくなったのでは。

requests.getの戻り値のレスポンスに対して、raise_for_status()を実行してステータスコードを確認してくださいな。

サンプルコードです。(未テスト)

from logging import getLogger, StreamHandler, Formatter, DEBUG
import requests
import shutil

LOGGER = getLogger('custom_search_api')
HANDLER = StreamHandler()
HANDLER.setLevel(DEBUG)
HANDLER.setFormatter(Formatter('%(message)s'))
LOGGER.setLevel(DEBUG)
LOGGER.addHandler(HANDLER)


def fetch(url: str, params: dict=None):
    res = requests.get(url, params)
    res.raise_for_status()
    return res

API_PATH    = "https://www.googleapis.com/customsearch/v1"
start_index = 1
PARAMS = {
  "cx" : "xxxx:xxxx", #検索エンジンID
  "key": "xxxxxxxxx", #APIキー
  "q"  : "映画", #検索ワード
  "searchType": "image", #検索タイプ
  "start" : start_index, #開始インデックス
  "num" : 10   #1回の検索における取得件数(デフォルトで10件)
}
for _ in range(10): # 10 * 10 = 100
  res = fetch(API_PATH, params)
  LOGGER.info('#' * 80)
  res_json = res.json()
  for idx, items in enumerate(res_json['items'], start=start_index):
    path = "imgs/" + str(idx) + ".png"
    download_link = items['link']
    LOGGER.info(f'url:{download_link}')
    r = requests.get(download_link, stream=True)
    if r.status_code == 200:
      with open(path, 'wb') as f:
        r.raw.decode_content = True
        shutil.copyfileobj(r.raw, f)
  start_index = res_json['queries']['nextPage'][0].get('startIndex')
  LOGGER.info(f'next:{start_index}')
  params['start'] = start_index

---

あと、無料枠の場合は1日のクエリ制限100もあります。
参考:Yahoo、Bing、Googleでの画像収集事情まとめ

大手の検索エンジンは画像検索に関しては制限がきついです。

---

回答の要旨を上手く伝えきれていないので、補足説明。
質問文のコードはnumを考慮していなく1クエリ100件を上手く処理できないコードです。

"num" : 10 #1回の検索における取得件数(デフォルトで10件)

wandbox
私の回答文のコードを参考に10クエリ*10件の総数:100に変更してみてくださいな。

---

スクレイピングは相手サイトの都合にかなり影響されます。
例外の発生が許容されないのならばtry～exceptを行うようなコードにしてください。
python 再試行、python リトライで検索するといろいろHITするかと。

---

1,requests.getの戻り値のレスポンスオブジェクトに対して以下のどちらかの処理をいれると、
質問文のエラーより前に問題が発見できるかと。

1-a,try～exceptで囲んで、raise_for_status()を呼び出す。 (回答者:推奨コード)

    try:
        res = requests.get(url, params)
        res.raise_for_status()
    except Exception as ex:
        LOGGER.exception(ex)

1-b,HTTPステータスコード:statuscodeをみる。

    res = requests.get(url, params)
    print(res.status_code)

2,リトライ処理を行う。
requestsを使っているならば、from urllib3.util.retry import Retry
参考:KeyError の再試行について
3,あと相手サーバーの負荷軽減のために適度なsleepを入れてくださいな。

Comments

[退会済みユーザー]

ありがとうございます。1日のクエリ制限100というのは知っていたので、0時過ぎてから試したのですがダメでした。もしや何かコードのミスとかがあっても1回ソースを実行してしまうと100にカウントされてダメとかあるのでしょうか？

[umyu]

@toromagurofishさんへ
>1日のクエリ制限100というのは知っていたので、0時過ぎてから試した
回答の二度手間を防ぐために、質問文にはできるだけ試した事を書いてくださいな。
https://console.cloud.google.com/apis/library/customsearch.googleapis.com
管理ボタン→割当タブに記載がありますが、「毎日の割り当ては、太平洋時間（PT）の午前 0 時にリセットされます。」
リセット時間はJST(日本標準時)ではないです。

[退会済みユーザー]

すいませんでした。そういうことなのですね。ありがとうございます。以後気をつけます。

[退会済みユーザー]

編集ありがとうございます。参考に致します。

[退会済みユーザー]

なぜかもう1度打ち込み直したら直りました！お騒がせしました。