HTTP通信をHTTPS通信に変換する方法

Question

###実現したいこと
ある端末から送信されたHTTPリクエストを途中のプロキシサーバのような部分でHTTPSに変換したい。

###知りたいこと

Pythonなどの言語で作成したプロキシサーバのような通信を中継する部分で、HTTP通信をHTTPS通信に
変換して外部のサーバに送信するということは可能なのでしょうか？

どなたか知識のある方、回答の方宜しくお願い致します。

###ソースコード(送信するjsonデータ)

import requests
import json
 
from datetime import datetime
 
def uploadSensorValues(temp, hum, press):
 
    url = 'http://172.20.69.88/index.php'
 
    sensorsdata = {'datetime':datetime.now().strftime("%Y/%m/%d %H:%M:%S"),'temp':temp,'hum':hum,'press':press}
 
    print json.dumps(sensorsdata)
 
    headers = {'content-type': 'application/json'}
    ps = {
 	 "http": "http://172.20.69.177:8080",
	 }
    res = requests.post(url, data=json.dumps(sensorsdata), headers=headers, verify=False,proxies = ps)
 
    print res.json()
    pass
 
def main():
 
    uploadSensorValues(21.8, 39.1, 1020)
 
if __name__ == '__main__':
    main()

<クライアントサイドのターミナルのエラー>
user@user-desktop:~$ python sample.py
{"press": 1020, "hum": 39.1, "temp": 21.8, "datetime": "2017/07/01 17:36:52"}
Traceback (most recent call last):
  File "sample.py", line 28, in <module>
    main()
  File "sample.py", line 25, in main
    uploadSensorValues(21.8, 39.1, 1020)
  File "sample.py", line 20, in uploadSensorValues
    print res.json()
  File "/usr/lib/python2.7/dist-packages/requests/models.py", line 808, in json
    return complexjson.loads(self.text, **kwargs)
  File "/usr/lib/python2.7/json/__init__.py", line 339, in loads
    return _default_decoder.decode(s)
  File "/usr/lib/python2.7/json/decoder.py", line 364, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "/usr/lib/python2.7/json/decoder.py", line 382, in raw_decode
    raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded

<POSTプログラム>
import pprint
import json
import requests

def main()
    response = requests.post(
        http://httpbin.org/post',
        json,dumps({'foo':'bar'}),
        headers={'Content-Type': 'application/json'})
    pprint.pprint(response.json())


if __name__=='__main__':
    main()

<プロキシサーバ上のログ（POST）>

2017/07/02 23:18:03 [002] INFO: Got request /post/ httpbin.org POST http://httpbin.org/post/
2017/07/02 23:18:03 [002] INFO: Sending request POST https://httpbin.org/post/
2017/07/02 23:18:04 [002] INFO: error read response httpbin.org http: invalid Read on closed Body:

Comments

[miyahan]

目的・具体的な利用シーンを教えて下さい

[kon_ta]

例えば、IoTのセンサー機器などでCPUなどのリソースが少ないものは今後SSL通信を行うのが困難になった場合に、間のサーバ部分でSSLを代行できるのかと単純に思ったためです。方法についてご意見があれば、ぜひご教授お願い致します。

Answer 1

プロキシサーバを作るのが良いと思います。Linux であれば $HTTP_PROXY という環境変数でプロキシサーバを参照させられると思います。(プログラムによってはプロキシが見れない物もあります)
プロキシサーバが見れるのであれば、以下の様な簡単なプログラムを作れば良いかと思います。
以下は golang で http スキームを https スキームとして通信するプログラムです。

package main

import (
	"crypto/tls"
	"log"
	"net/http"

	"github.com/elazarl/goproxy"
)

func main() {
	proxy := goproxy.NewProxyHttpServer()
	proxy.Verbose = true
	proxy.OnRequest().DoFunc(
		func(r *http.Request, ctx *goproxy.ProxyCtx) (*http.Request, *http.Response) {
			if r.URL.Scheme != "http" {
				// HTTP 以外は要求のまま伝える
				return r, nil
			}
			r.URL.Scheme = "https"
			client := http.Client{Transport: &http.Transport{
				TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
				Proxy:           http.ProxyFromEnvironment,
			}}
			r.RequestURI = ""
			resp, _ := client.Do(r)
			return r, resp
		})
	log.Fatal(http.ListenAndServe(":8080", proxy))
}

ただしクライアント側は http、サーバ側は https と異なるプロトコルで通信しています。単純なデータのやり取りだけであれば問題ないかもしれませんが、サーバが https な URL で別のページにリダイレクトしろと言われたらクライアントは従わざるを得ない、といった問題がありますのでご注意ください。

Comments

[kon_ta]

こちらのライブラリを使ったプロキシサーバではjsonのデータを扱うことはできないのでしょうか。一般的にgolangではjsonを扱う場合に別のライブラリを使用しているみたいなのですが、今回のプログラムでも併用出来たりするのでしょうか。golangの方の扱いに慣れていないため苦労しています。
json利用の解決策があればご教授頂ければ幸いです。

[mattn]

>jsonのデータを扱うことはできないのでしょうか

そんな事はないです。受けたコンテンツをそのまま返しているだけですので。

[kon_ta]

上に記載させていただいたように、温度などのデータをデータベースに送信するクライアントサイドのプログラムなのですが、作成して頂いたプロキシ経由でエラーが発生します。
今回のgolangのhttpをhttpsに変換する機能がよく理解できていないのですが、これはリダイレクトをしているのでしょうか？
今後Pythonでの実装も考えているので、仕組みについても教えていただきたいです。
お手数お掛けして申し訳ございません。

[mattn]

エラーの内容を貼って貰えますか。

このプロキシは http クライアントから http プロトコルでリクエストが来たら https としてアクセスします。Google を使って動作確認しましたが、場合によっては動かないサーバもあるかもしれません。そこはデバッグしながら、必要に応じてヘッダを足したりする必要があるかもしれないです。
ちなみにですが、大丈夫だとは思いますが使い方をお伝えしておきます。

環境変数 http_proxy を以下の様に設定します。

export http_proxy=http://プロキシサーバのアドレス:8080

この環境変数を設定した上でプログラムを起動します。

[kon_ta]

返信ありがとうございます。
クライアントと頂いたプロキシサーバ上でのエラーの内容を上記に記載致しました。
httpのリクエストをプロキシサーバ上でhttpsにしてアクセスした場合、プロキシサーバへ帰ってくる内容もhttpsになると思うのですが、その内容をhttpに変換しクライアントに返す部分の処理はライブラリ内でおこなわれているのでしょうか。
それとも自動的にhttpで返すようになっているのでしょうか。
質問が多くて申し訳ございません。宜しくお願い致します。

[mattn]

接続しようとされているIPは https 通信可能なのでしょうか？オレオレ証明だと弾かれるかもしれませんが。

[kon_ta]

仰る通り、今回はオレオレ証明を利用しております。
safariブラウザで直接当該サーバへアクセスした場合には頂いたプログラムで問題なく
通信できました。しかしjsonのデータをPOSTするプログラムでは弾かれてしまいます。

[mattn]

JSON かどうかが原因でなく、単に golang の http クライアントがデフォルトでオレオレ証明をはじいているのが原因です。回答内容のコードをオレオレ証明に対応してみました。

[mattn]

https & JSON で試してみましたが上手く動いてそうです。

[kon_ta]

回答ありがとうございます。
試してみましたら、やはりうまく通信できていません。http&jsonで試されたということでしたが、
どのように試されたのでしょうか？jsonをPOSTリクエストなどで送信しましたか？

[kon_ta]

今回私が行ったのは
http://qiita.com/hththt/items/14bfc2bf23192b020371　のページにある
JSON形式でのPOSTをhttps://httpbin.org　に向けて頂いたプロキシサーバ経由で行ったものです。
その場合、上に表記したエラーが発生します。

[mattn]

こちらでも httpbin を使って試しましたが動きました。

http://go-gyazo.appspot.com/6013ef07fa4cb636.png

確認ですが、環境変数 http_proxy を設定されておられるでしょうか？

[kon_ta]

返信ありがとうございます。
環境変数の方は設定済みです。一点確認なのですが、環境変数https_proxyの方も設定するのでしょうか？送って頂いた画像にあるように、Running 0 CONNECT　と表示される場合は最初からhttpsで接続された場合ではないのかと思います。
httpbinに対してhttpでアクセスした際に先程頂いた画像のように成るのでしょうか。
上に私が使用したhttpbinに対するPOSTプログラムを載せますので、間違いがあればご指摘頂ければ幸いです。

[mattn]

設定する必要はないです。以下が http_proxy で試した画像です。


[kon_ta]

返信ありがとうございます。
GETリクエストは可能なのですが、POSTリクエストが出来ないと思います。
回答者様の方では出来ますでしょうか？
確認お願い致します。

[mattn]

http://go-gyazo.appspot.com/9238fa105091063f.png

出来てますね。どの様なテストをされてますか？

[kon_ta]

返信ありがとうございます。頂いた画像を確認する限り出来ているみたいですね...
テスト内容としては頂いたプロキシサーバ経由で普通にhttp://httpbin.org　にポストしています。
一応上に再度使用したクライアントプログラムとエラーを載せさせて頂きます。
環境変数の設定も行いました。現状でなにか考えられる問題等ございますでしょうか・・・
pythonのバージョンは一応2.7.10で行っています。

[mattn]

RequestURI を空にする様にしてみました。こちらは curl で確認を行っていましたが、載せて頂いた python のコードでも動く事が確認できました。如何でしょうか。

[kon_ta]

返信ありがとうございます。
うまく起動しました！ありがとうございます！
ちなみにRequestURLを空にすることでなぜ動くようになったのでしょうか？

[mattn]

httpbin はどうやら厳密に Request-URI ヘッダと現在リクエストされた URI をチェックしている様で、その様なリクエストを送ると 500 エラーを返す様です。(本当にチェックしているかは知りません)