質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.35%

Python3でGETリクエストでJSONデータを送る

解決済

回答 2

投稿

  • 評価
  • クリップ 1
  • VIEW 929

otera05

score 11

 前提・実現したいこと

Python3のrequestsモジュールを使って外部APIからデータを取得したいのですが、
ベンダーから提供されているAPI仕様書に則ってリクエストを送ってもステータスコード400が返ってきて上手くいきません。

ベンダーからはPHPで以下のサンプルコードが送られてきており、自分のローカルにPHPの実行環境を作って実行したところ、
上手く動作しました。
こちらが作るアプリケーションの言語はPython3で決定しているのでこれをPython3で書き直したいのです。。

なお、ベンダーから提供されているAPI仕様書には以下の指定があります。

HTTPメソッド:GET

リクエストヘッダに以下のパラメータを付与する

要素名 説明
Content-Type application/json; charset=UTF-8
X-Auth 「ID:パスワード」をBASE64エンコードしたもの

リクエストボディに以下の検索条件を付与しJSON形式で送る

キー 説明
from 開始時刻
to 終了時刻

 ベンダーから提供されたPHPのサンプルコード

<?php
$loginName = 'username';
$password = 'password';

$header = array(
               'Content-type: application/json; charset=UTF-8',
               'X-Auth:' . base64_encode($loginName . ':' . $password),
           );

$context = stream_context_create(
    array(
        'http' => array(
            'method'=> 'GET',
            'header'=> implode("\r\n", $header),
            'content' => json_encode(
                array(
                    'from' => '2018-07-01 00:00:00',
                    'to' => '2018-07-27 23:59:00',
                    'maximumresponse' => '1000'
                )
            ,JSON_UNESCAPED_UNICODE)
        )
    )
);

print file_get_contents('https://xxxxxxxxx.jp/api/v1/hoge.json', false, $context);
?>


サンプルコードを実行すると以下のようなJSONのレスポンスが得られます。

{
  "result":"000000",
  "accepttime":"2018-08-08T17:26:41+09:00",
  "count":1,
  :
  以下略
  :
}


PHPのコードの $context の中身は以下の通りです。

php > var_dump(stream_context_get_params($context));
array(1) {
  ["options"]=>
  array(1) {
    ["http"]=>
    array(3) {
      ["method"]=>
      string(3) "GET"
      ["header"]=>
      string(116) "Content-type: application/json; charset=UTF-8
X-Auth:******************************"
      ["content"]=>
      string(82) "{"from":"2018-07-01 00:00:00","to":"2018-07-27 23:59:00","maximumresponse":"1000"}"
    }
  }
}

 自分が書いたPython3のコード(上手くいかない)

import base64
import requests
import json


ID = 'username'
PASS = 'password'
URL = 'https://xxxxxxxxx.jp/api/v1/hoge.json'
auth_str = ID + ':' + PASS

authkey = base64.b64encode(auth_str.encode('utf-8')).decode()

headers = {
    'Content-Type': 'application/json; charset=UTF-8',
    'X-Auth': authkey
}

payload = {
    'from': '2018-07-01 00:00:00',
    'to': '2018-07-27 23:59:00',
    'maximumresponse': 1000
}

r = requests.get(URL, headers=headers, json=payload)

このコードを実行したら以下のようにHTTPのステータスコードが400になります。

>>> r = requests.get(URL, headers=headers, json=payload)
>>> r.status_code
400

 試したこと

ちなみにリクエストを送る際の引数を変えてみたりしましたがダメでした…。

>>> r = requests.get(URL, headers=headers, params=json.dumps(payload))
>>> r.status_code
400

 補足情報(FW/ツールのバージョンなど)

実行環境は以下の通りです。

  • Python3.6
  • requests2.19.1

当然、パラメータはサンプルコードに記載されたものと全く同じにしているのでパラメータに問題はなく、Pythonのコードの問題だと思っています。
お知恵を貸していただければ幸いです。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

+3

提示いただいたサンプルをPHP版、Python版とも動かしてみました。ただし、HTTPSではなくHTTPにして、ローカルの4444ポートでやりました。リクエストを受け取るのは、以下のようにnetcatコマンドを用いました。

$ netcat -l 4444

PHP版の実行結果は以下の通り。

GET /api/v1/hoge.json HTTP/1.0
Host: localhost:4444
Connection: close
Content-Length: 82
Content-type: application/json; charset=UTF-8
X-Auth:dXNlcm5hbWU6cGFzc3dvcmQ=

{"from":"2018-07-01 00:00:00","to":"2018-07-27 23:59:00","maximumresponse":"1000"}

Python版の実行結果は以下の通り。

GET /api/v1/hoge.json HTTP/1.1
Host: localhost:4444
User-Agent: python-requests/2.18.4
Accept-Encoding: gzip, deflate
Accept: */*
Connection: keep-alive
Content-Type: application/json; charset=UTF-8
X-Auth: dXNlcm5hbWU6cGFzc3dvcmQ=
Content-Length: 85

{"from": "2018-07-01 00:00:00", "to": "2018-07-27 23:59:00", "maximumresponse": 1000}

ご覧のように、ほとんど違いはないですねぇ。しいて言えば、maximumresponseがPHPは文字列であるのに対して、Pythonは数値です。ここは型を揃えて試してみたいところです。
あとは、X-Auth:の後の空白の有無とか…

ところで、本当にGETが正しい仕様なのでしょうか? リクエストボディがあるので、POSTが正しいと思うのですが、この点は間違いないですか?

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/08/09 09:12

    検証いただきありがとうございます。
    maximumresponseについては、API仕様書では型の定義が「数値」となっていたので数値にしていましたが、確かにベンダーのPHPでは文字列ですね…。
    また、maximumresponseは指定してもしなくてもよいという仕様になっているので一旦指定なしで確認してみましたが同様にステータスコードは400のままでした。

    私もリクエストボディがあるのでPOSTなのでは…?と思っていたのですが、仕様書にはGETと明記されているのとPHPのコードにはやはりGETが指定されていて、且つそれでちゃんと動作するのでうーん…といった感じで悩んでいますね…。

    半ばやけくそな感じで、パラメータは同一(maximumresponseは削除しました)でPOSTも含めてリクエストを送ってみましたが結果は以下の通りです。。

    >>> r = requests.get(URL, headers=headers, params=json.dumps(payload))
    >>> r
    <Response [400]>
    >>> r = requests.get(URL, headers=headers, json=payload)
    >>> r
    <Response [400]>
    >>> r = requests.post(URL, headers=headers, json=payload)
    >>> r
    <Response [400]>
    >>> r = requests.post(URL, headers=headers, data=payload)
    >>> r
    <Response [400]>
    >>> r = requests.post(URL, headers=headers, data=json.dumps(payload))
    >>> r
    <Response [400]>

    他にどんなところが怪しそうでしょうか。。

    キャンセル

  • 2018/08/09 09:43

    既に怪しそうなところはコメントした通りで私にはわかりません。ベンダーに問い合わせるのが筋かと思います。その際に、前述したリクエストをつけて、「どこがおかしいですか?」と聞くべきかと思います。その際に、GET/POSTの点も確認した方がよいと思います。

    キャンセル

  • 2018/08/09 10:31

    ありがとうございます。
    仰る通りです。

    Pythonのサンプルコードをベンダーからいただければそれが一番よかったのですが、
    ベンダーには「Pythonのサンプルコードはない」と突っぱねられており、記載したPythonのソースコードを送っても「サポートしかねる」といった回答だったのでこちらでお聞きした次第です。
    事前情報が不足しており失礼しました。

    とは言え、GET/POSTの件はHTTPの一般的な話なので改めてベンダーに問い合わせてみます。

    キャンセル

+1

本件、無事解決しました。
結論から申し上げますと、私が最初に書いたコードで問題ありませんでした…。

>>> r = requests.get(URL, headers=headers, json=payload)
>>> r.status_code
200
>>> r.json()
{'result': '000000', 'processkey': 'Processkeytest', 'accepttime': '2018-08-09T16:05:00+09:00', 'count': 1,…以下略…}

といった形でレスポンスが返ってきました。
恐らくベンダー側で何らかの調整を行ったのではないかと推測しています。(問合せ中です。)

ockeghem様、色々とありがとうございました。
ローカルでのHTTPリクエスト内容の確認の手法について知らなかったので大変勉強になりました。
また、お騒がせ致しました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.35%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る