質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.77%

Google Custom Search API で403エラー "The request is missing a valid API key."

解決済

回答 3

投稿

  • 評価
  • クリップ 1
  • VIEW 565

cl_

score 9

Google Custom Search APIでgoogleの検索結果データを取得したい。
ここここをパク、参考にやってみたところ、前者であるjavascriptを使うやり方ではうまくいかず、後者のpythonを使うやり方ではうまくいきました。

問題:前者でうまくいくようにしたい

前者(JavaScript)

      const API_KEY = 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx';
      const CSE_ID = 'xxxxxxxxxxxxxxxxxxxx:xxxxxxxxxxx';
      let keywords = '検索ワード';
      let cse_url = 'https://www.googleapis.com/customsearch/v1?key=' + API_KEY + '&cx=' + CSE_ID + '&q=' + keywords;
      const request = new XMLHttpRequest();
      request.open('GET', cse_url);
      request.onreadystatechange = function () {
          if (request.readyState != 4) {
              // リクエスト中
          } else if (request.status != 200) {
              // 失敗
              console.log('Damn it!');
          } else {
              // 取得成功
              const result1 = request.responseText;
              console.log(result1);
          }
      };
      request.send();


ローカル開発環境の構築 [macOS編]の上で、検索ワードの文字列をkeywordsに代入し動作させると定数result1

{
  "kind": "customsearch#search",
  "url": {
    "type": "application/json",
    "template": "https://www.googleapis.com/customsearch/v1?q=・・・(略)・・・=json"
  },
  "queries": {
    "request": [
      {
        "count": 10,
        "startIndex": 1,
        "inputEncoding": "utf8",
        "outputEncoding": "utf8",
        "safe": "off",
        "cx": "xxxxxxxxxxxxxxxxxxxxx:xxxxxxxxxxx"
      }
    ]
  },
  "searchInformation": {
    "searchTime": 0.011195,
    "formattedSearchTime": "0.01",
    "totalResults": "0",
    "formattedTotalResults": "0"
  }
}


と入っていました。五行目"template"のURLを辿ると

{
  "error": {
    "code": 403,
    "message": "The request is missing a valid API key.",
    "errors": [
      {
        "message": "The request is missing a valid API key.",
        "domain": "global",
        "reason": "forbidden"
      }
    ],
    "status": "PERMISSION_DENIED"
  }
}


と表示されます。

後者(Python)

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import os
import datetime
import json

from time import sleep
from googleapiclient.discovery import build

GOOGLE_API_KEY          = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
CUSTOM_SEARCH_ENGINE_ID = "xxxxxxxxxxxxxxxxxxxx:xxxxxxxxxxx"

DATA_DIR = 'data'

def makeDir(path):
    if not os.path.isdir(path):
        os.mkdir(path)

def getSearchResponse(keyword):
    today = datetime.datetime.today().strftime("%Y%m%d")
    timestamp = datetime.datetime.today().strftime("%Y/%m/%d %H:%M:%S")

    makeDir(DATA_DIR)

    service = build("customsearch", "v1", developerKey=GOOGLE_API_KEY)

    page_limit = 10
    start_index = 1
    response = []
    for n_page in range(0, page_limit):
        try:
            sleep(1)
            response.append(service.cse().list(
                q=keyword,
                cx=CUSTOM_SEARCH_ENGINE_ID,
                lr='lang_ja',
                num=10,
                start=start_index
            ).execute())
            start_index = response[n_page].get("queries").get("nextPage")[0].get("startIndex")
        except Exception as e:
            print(e)
            break

    # レスポンスをjson形式で保存
    save_response_dir = os.path.join(DATA_DIR, 'response')
    makeDir(save_response_dir)
    out = {'snapshot_ymd': today, 'snapshot_timestamp': timestamp, 'response': []}
    out['response'] = response
    jsonstr = json.dumps(out, ensure_ascii=False)
    with open(os.path.join(save_response_dir, 'response_' + today + '.json'), mode='w') as response_file:
        response_file.write(jsonstr)

if __name__ == '__main__':

    target_keyword = 'ダイエット'

    getSearchResponse(target_keyword)


一方でこちらは参考にしたページの通りのJSONデータが得られました。

詰み

例えばここに同じ名前のメッセージが問われたりしていますがなんだか理解まで辿り着けません。
お願いします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

+2

JavaScript版とPython版でリクエストしているURLが異なっていることはお気づきでしょうか。

let cse_url = 'https://www.googleapis.com/customsearch/v1?key=' + API_KEY + '&cx=' + CSE_ID + '&q=' + keywords;
            response.append(service.cse().list(
                q=keyword,
                cx=CUSTOM_SEARCH_ENGINE_ID,
                lr='lang_ja',
                num=10,
                start=start_index
            ).execute())


Python版のほうがlr='lang_ja'num=10start=start_indexが多く含まれています。このライブラリを直接使ったわけではないので推測ですが、ここでURLに含めるパラメータを決定しているのだと思います。

一般に検索系のAPIは結果が膨大になるためページング処理(1回に取ってこれる結果の量を制限する仕組み)が必要になります。num=10が1回に取ってこれる量でstart=start_indexが何ページ目からの結果からかを表すパラメータかと思われます。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/04/17 18:12

    回答ありがとうございます。
    そのパラメータを付け足してJS版でやってみました。同じエラーが出ました。一回に取ってこれる量はデフォルトで10ページ(Python版と同じく)のようです。
    エラーをみると権限がないとのことで、その権限の付け方がわからず困っています。

    キャンセル

checkベストアンサー

+1

そのまんまかと思うんですが...
何を問題としているのかいまいち理解できませんでした。
全て正しい挙動をしているように思います。
私はこの質問を読んで、初めてCustom Search APIを使いましたから、そのせいで理解できないだけでしょうか。

templateのURLを辿ったとき、
The request is missing a valid API key.
と返ってくるのが問題ですか?
これはメッセージの通り、API keyがないことが原因かと思います。
なぜtemplateのURLを辿ったのかは知りませんが、そのURLにはAPI keyが含まれていません。
その先の情報を得るためには、そのURLの最後に、key=を付け加える必要があるでしょう。
https://www.googleapis.com/customsearch/v1?q=・・・(略)・・・=json&key='xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
のように。

結果がないのが問題ならば、
"totalResults": "0"
とあるように、単純にその検索ワードではヒットが無かっただけかと思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/04/22 17:06

    言葉のレベルでわかってませんでしたありがとうございます。

    キャンセル

+1

クエリパラメータの作成時にvalueをURLエンコードしてないからかもしれません。
API_KEYに&とか?が含まれているとAPI_KEYが正常に渡せません。

ためしにencodeURIComponentを使ってみたらどうでしょうか。

let cse_url = 'https://www.googleapis.com/customsearch/v1' +
              '?key=' + encodeURIComponent(API_KEY) +
              '&cx=' + encodeURIComponent(CSE_ID) +
              '&q=' + encodeURIComponent(keywords);

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/04/20 17:39

    回答ありがとうございます。
    やってみました。同じエラーが返ってきました。
    APIキーは大文字・小文字のアルファベットと数字でできているようです。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.77%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る