Google Custom Search API で403エラー "The request is missing a valid API key."

Question

Google Custom Search APIでgoogleの検索結果データを取得したい。
ここやここをパク、参考にやってみたところ、前者であるjavascriptを使うやり方ではうまくいかず、後者のpythonを使うやり方ではうまくいきました。

問題：前者でうまくいくようにしたい

前者（JavaScript）

      const API_KEY = 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx';
      const CSE_ID = 'xxxxxxxxxxxxxxxxxxxx:xxxxxxxxxxx';
      let keywords = '検索ワード';
      let cse_url = 'https://www.googleapis.com/customsearch/v1?key=' + API_KEY + '&cx=' + CSE_ID + '&q=' + keywords;
      const request = new XMLHttpRequest();
      request.open('GET', cse_url);
      request.onreadystatechange = function () {
          if (request.readyState != 4) {
              // リクエスト中
          } else if (request.status != 200) {
              // 失敗
              console.log('Damn it!');
          } else {
              // 取得成功
              const result1 = request.responseText;
              console.log(result1);
          }
      };
      request.send();

をローカル開発環境の構築 [macOS編]の上で、検索ワードの文字列をkeywordsに代入し動作させると定数result1に

{
  "kind": "customsearch#search",
  "url": {
    "type": "application/json",
    "template": "https://www.googleapis.com/customsearch/v1?q=・・・（略）・・・=json"
  },
  "queries": {
    "request": [
      {
        "count": 10,
        "startIndex": 1,
        "inputEncoding": "utf8",
        "outputEncoding": "utf8",
        "safe": "off",
        "cx": "xxxxxxxxxxxxxxxxxxxxx:xxxxxxxxxxx"
      }
    ]
  },
  "searchInformation": {
    "searchTime": 0.011195,
    "formattedSearchTime": "0.01",
    "totalResults": "0",
    "formattedTotalResults": "0"
  }
}

と入っていました。五行目"template"のURLを辿ると

{
  "error": {
    "code": 403,
    "message": "The request is missing a valid API key.",
    "errors": [
      {
        "message": "The request is missing a valid API key.",
        "domain": "global",
        "reason": "forbidden"
      }
    ],
    "status": "PERMISSION_DENIED"
  }
}

と表示されます。

後者（Python）

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import os
import datetime
import json

from time import sleep
from googleapiclient.discovery import build

GOOGLE_API_KEY          = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
CUSTOM_SEARCH_ENGINE_ID = "xxxxxxxxxxxxxxxxxxxx:xxxxxxxxxxx"

DATA_DIR = 'data'

def makeDir(path):
    if not os.path.isdir(path):
        os.mkdir(path)

def getSearchResponse(keyword):
    today = datetime.datetime.today().strftime("%Y%m%d")
    timestamp = datetime.datetime.today().strftime("%Y/%m/%d %H:%M:%S")

    makeDir(DATA_DIR)

    service = build("customsearch", "v1", developerKey=GOOGLE_API_KEY)

    page_limit = 10
    start_index = 1
    response = []
    for n_page in range(0, page_limit):
        try:
            sleep(1)
            response.append(service.cse().list(
                q=keyword,
                cx=CUSTOM_SEARCH_ENGINE_ID,
                lr='lang_ja',
                num=10,
                start=start_index
            ).execute())
            start_index = response[n_page].get("queries").get("nextPage")[0].get("startIndex")
        except Exception as e:
            print(e)
            break

    # レスポンスをjson形式で保存
    save_response_dir = os.path.join(DATA_DIR, 'response')
    makeDir(save_response_dir)
    out = {'snapshot_ymd': today, 'snapshot_timestamp': timestamp, 'response': []}
    out['response'] = response
    jsonstr = json.dumps(out, ensure_ascii=False)
    with open(os.path.join(save_response_dir, 'response_' + today + '.json'), mode='w') as response_file:
        response_file.write(jsonstr)

if __name__ == '__main__':

    target_keyword = 'ダイエット'

    getSearchResponse(target_keyword)

一方でこちらは参考にしたページの通りのJSONデータが得られました。

詰み

例えばここに同じ名前のメッセージが問われたりしていますがなんだか理解まで辿り着けません。
お願いします。

Answer 1

JavaScript版とPython版でリクエストしているURLが異なっていることはお気づきでしょうか。

let cse_url = 'https://www.googleapis.com/customsearch/v1?key=' + API_KEY + '&cx=' + CSE_ID + '&q=' + keywords;

            response.append(service.cse().list(
                q=keyword,
                cx=CUSTOM_SEARCH_ENGINE_ID,
                lr='lang_ja',
                num=10,
                start=start_index
            ).execute())

Python版のほうがlr='lang_ja'とnum=10、start=start_indexが多く含まれています。このライブラリを直接使ったわけではないので推測ですが、ここでURLに含めるパラメータを決定しているのだと思います。

一般に検索系のAPIは結果が膨大になるためページング処理（1回に取ってこれる結果の量を制限する仕組み）が必要になります。num=10が1回に取ってこれる量でstart=start_indexが何ページ目からの結果からかを表すパラメータかと思われます。

Comments

[cl_]

回答ありがとうございます。
そのパラメータを付け足してJS版でやってみました。同じエラーが出ました。一回に取ってこれる量はデフォルトで10ページ（Python版と同じく）のようです。
エラーをみると権限がないとのことで、その権限の付け方がわからず困っています。

Answer 2

そのまんまかと思うんですが...
何を問題としているのかいまいち理解できませんでした。
全て正しい挙動をしているように思います。
私はこの質問を読んで、初めてCustom Search APIを使いましたから、そのせいで理解できないだけでしょうか。

templateのURLを辿ったとき、
The request is missing a valid API key.
と返ってくるのが問題ですか？
これはメッセージの通り、API keyがないことが原因かと思います。
なぜtemplateのURLを辿ったのかは知りませんが、そのURLにはAPI keyが含まれていません。
その先の情報を得るためには、そのURLの最後に、key=を付け加える必要があるでしょう。
https://www.googleapis.com/customsearch/v1?q=・・・（略）・・・=json&key='xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
のように。

結果がないのが問題ならば、
"totalResults": "0"
とあるように、単純にその検索ワードではヒットが無かっただけかと思います。

Comments

[cl_]

言葉のレベルでわかってませんでしたありがとうございます。

Answer 3

クエリパラメータの作成時にvalueをURLエンコードしてないからかもしれません。
API_KEYに&とか?が含まれているとAPI_KEYが正常に渡せません。

ためしにencodeURIComponentを使ってみたらどうでしょうか。

let cse_url = 'https://www.googleapis.com/customsearch/v1' +
              '?key=' + encodeURIComponent(API_KEY) +
              '&cx=' + encodeURIComponent(CSE_ID) +
              '&q=' + encodeURIComponent(keywords);

Comments

[cl_]

回答ありがとうございます。
やってみました。同じエラーが返ってきました。
APIキーは大文字・小文字のアルファベットと数字でできているようです。