質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.80%

Google Custom search APIで400:invalid argumentが返される

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 1,388

score 8

初心者です.GoogleのCustom search APIを使って画像収集をしようとしているのですが,
”400:invalid argument”が返されてしまいます.
https://bbbbruno.qrunch.io/entries/QJAH6SmmbFt76WPJ
こちらのサイトを参考に,クエリ「東日本大震災」でヒットする画像のデータを集めようとしています.
APIキーとカスタム検索のIDを取得し,ターミナルで以下のコマンドを入力しました.

curl https://www.googleapis.com/customsearch/v1?key=[*****]&cx=[*****]&searchType=image&q=東日本大震災&lr=lang_ja&safe=off&num=2&start=1

JSON形式で検索結果が返されて欲しいのですが,以下のような結果が返ってきてしまいます.

  "error": {
    "code": 400,
    "message": "Request contains an invalid argument.",
    "errors": [
      {
        "message": "Request contains an invalid argument.",
        "domain": "global",
        "reason": "badRequest"
      }
    ],
    "status": "INVALID_ARGUMENT"
  }
}


エラーメッセージを調べてみたところ,私が投げているリクエストに問題があるようなのですが,具体的にどこが悪いのかわかりませんでした.日本語のクエリ部分をシングルクオートで囲っても結果は変わりませんでした.Webブラウザ(Chrome)にcurlするURLを入力したところ,問題なくJSONが表示されたので,さらによくわからなくなってしまいました.
使用しているPCはMac,curlのバージョンは7.54.0です. よろしくお願いします.

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

私の方で実際に試したわけではありませんが、curlコマンドに渡すGETメソッドのフォームのパラメータの内、q=東日本大震災の部分はいわゆるURLエンコードを施す必要があるはずです。GETメソッドのURL中に、UTF8であろうがシフトJISであろうが、直接、全角文字相当の文字列を指定することはできません。

実際、質問者さんが参考にされた記事中でもそのキーワード部分をちゃんとURLエンコードしています。以下の部分です。

echo $keyword | nkf -wMQLu | tr = % | tr \\n ! | sed -e 's/!//g' -e 's/%%/%/g' > keyword.txt


Google Custom Search APIを使って自動画像収集ツールを作ったった - BlueTechNote 記事中より引用

質問者さんの場合q=の値は「東日本大震災」なわけですから、この文字列をURLエンコードします。

$ echo '東日本大震災' | nkf -WwMQ | tr = %
%E6%9D%B1%E6%97%A5%E6%9C%AC%E5%A4%A7%E9%9C%87%E7%81%BD

この値で差し替えると、以下のようなcurlコマンドラインオプションになるでしょうか。

curl https://www.googleapis.com/customsearch/v1?key=[*****]&cx=[*****]&searchType=image&q=%E6%9D%B1%E6%97%A5%E6%9C%AC%E5%A4%A7%E9%9C%87%E7%81%BD&lr=lang_ja&safe=off&num=2&start=1

もし、これでうまくいかなかった場合、問題の切り分けとしてq=をURLエンコードしなくてもだいじょうぶなパターン、例えば「cat」や「dog」など、英数字のみで構成される簡単な単語に差し替えて試してみて、もしそれで動くのであれば、やはりその部分が問題だということになります。「URLエンコード」については「GETメソッド URLエンコード」などとキーワード指定して検索するなどして別途、調べてみてください。


私の回答へいただいた以下のコメントを読んで追記しました:

Webブラウザに直接URLを入力した場合は,いずれも問題なく返ってきました

curlコマンドの実行で問題が起きているということになりますね。私の方で試したみたところ、質問者さんの問題が再現しました。こちらの記事で提示されている問題が起きているようです。

curlでGETリクエスト送る時の注意点 - Smoky God Express/Hetana Blog

クエリー文字列中で&が多用されているためにcurlコマンドにとって不正なコマンドラインオプションになってしまう、と言うことです。正しくURLエンコードをした上で、curlへ渡すURLを"で括って実行してください。

# 例
curl "https://www.googleapis.com/customsearch/v1?key=[*****]&cx=[*****]....."`

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/06/16 20:41

    回答ありがとうございます.提案いただいた方法を試してみました.
    全角の文字をエンコードする方法,代わりの半角英字をクエリにする方法,いずれも試しましたが,変わらずエラー400が返されてしまいました.
    (Webブラウザに直接URLを入力した場合は,いずれも問題なく返ってきました)
    URLエンコードについて少し勉強して参ります.もし他の原因に心当たりがございましたら,お教えいただけるとありがたいです.

    キャンセル

  • 2020/06/17 03:11

    原因が分かりましたので回答へ追記しました。ご覧ください。

    キャンセル

  • 2020/06/17 10:21

    追記いただいた回答を参照して試したところ,無事にデータが返ってきました.この度は親切にありがとうございました.またご縁がありましたら,よろしくお願いいたします.

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.80%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る