概要
- Node.js + Expressで開発しているWebアプリケーション
- 外部サービスによるSHIFT_JIS形式のPOSTリクエストデータを処理したい
- リクエストボディの取得にはbody-parserモジュールを使用している
Node.jsでは基本的にUTF-8のみなのは知っていましたが、開発に入る時には外部サービスの仕様が明らかでなかったので、この状況に陥っています...。
蓋を開けてみらたら...という感じです😢
body-parserがSHIT_JISに未対応なことがエラーの原因になっているのでしょうか。
別の部分のプログラムはほとんど完成してしまったので、なるべく仕様を変えずに進めたいと考えています。
方法があれば、ご教授お願いします。。。
困っていること
- SHIFT_JIS形式のPOSTをされるとサーバーエラーになる
- UTF-8でPOSTすると正常に処理できます
エラーの内容
UnsupportedMediaTypeError
unsupported charset "SHIFT_JIS"
UnsupportedMediaTypeError: unsupported charset "SHIFT_JIS"
at urlencodedParser (/Users/nob3110/nodejs/1901_fanjunction/node_modules/body-parser/lib/types/urlencoded.js:108:12)
at Layer.handle [as handle_request] (/Users/nob3110/nodejs/1901_fanjunction/node_modules/express/lib/router/layer.js:95:5)
at trim_prefix (/Users/nob3110/nodejs/1901_fanjunction/node_modules/express/lib/router/index.js:317:13)
at /Users/nob3110/nodejs/1901_fanjunction/node_modules/express/lib/router/index.js:284:7
at Function.process_params (/Users/nob3110/nodejs/1901_fanjunction/node_modules/express/lib/router/index.js:335:12)
at next (/Users/nob3110/nodejs/1901_fanjunction/node_modules/express/lib/router/index.js:275:10)
at session (/Users/nob3110/nodejs/1901_fanjunction/node_modules/express-session/index.js:454:7)
at Layer.handle [as handle_request] (/Users/nob3110/nodejs/1901_fanjunction/node_modules/express/lib/router/layer.js:95:5)
at trim_prefix (/Users/nob3110/nodejs/1901_fanjunction/node_modules/express/lib/router/index.js:317:13)
at /Users/nob3110/nodejs/1901_fanjunction/node_modules/express/lib/router/index.js:284:7</td>
すでに試したこと => いずれも上記エラーになります
- iconvを使った変換処理
//モジュール読み込み
const iconv = require("iconv-lite");
//POSTされた時の処理
router.post("/", (req, res) => {
const data = iconv.encode(req.body, "UTF-8");
res.render("./index.ejs", data);
});
//モジュール読み込み
const bodyParser = require("body-parser");
const fs=require("fs");
app.use(bodyParser.urlencoded({ extended: true }));
eval(fs.readFileSync("./ecl_new.js",{encoding:"utf8"}));
//POSTされた時の処理
router.post("/", (req, res) => {
const data = UnescapeSJIS(req.body);
res.render("./index.ejs", data);
});
- encoding-japaneseモジュールを使った方法
参考: [Node.js] Shift_JISなレスポンスデータをUnicodeに変換する簡単な方法
//モジュール読み込み
const encoding = require("encoding-japanese");
//POSTされた時の処理
router.post("/", (req, res) => {
const unicodeArr = encoding.convert(req.body, {
from: 'SJIS',
to: 'UNICODE'
}); //UNICODE文字列に変換
// strに文字列として格納
const str = encoding.codeToString(unicodeArr);
res.render("./index.ejs", str);
});
リクエストのRawデータ
POST /***/*** HTTP/1.1
Content-Type: application/x-www-form-urlencoded; charset=Shift_JIS
User-Agent: Jakarta Commons-HttpClient/3.0
Host: 65324832.ngrok.io
Content-Length: 633
X-Forwarded-For: 61.215.213.47
terminal_type=0&sps_cust_no=&sps_payment_no=&res_pay_method=docomo&res_result=OK&merchant_id=****&res_err_code=&res_payinfo_key=&free2=&free3=&service_id=001&free1=&camp_type=0&pay_type=1&pay_item_id=&tracking_id=&res_sps_cust_no=&amount=540&item_id=a169574565ee96&res_payment_date=20190312215200&item_name=&tax=&pay_method=docomo%2Cauone&res_date=20190312215200&cust_code=u168e552e2b4398&div_settele=0&limit_second=600&service_type=0&res_sps_payment_no=&last_charge_month=&request_date=20190312215136&auto_charge_type=1&order_id=20190312215136-17&sps_hashcode=1CB01B3229C0ABD6EB8B604B9B74533678211B37&res_tracking_id=50657276214974
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
0
これはライブラリの中で死んでるのでインターセプトしてやらないと駄目ですね。
普通に実装に1〜2週間かかるかと思いますけどなんとかなるんじゃないですか?
ExpressはHTTPリクエストを受け取った場合、
appのメソッドを定義した順番に実行していきます。
パス等で指定があれば該当するものを上から実行していくという形になります。
私が覚えている仕様だとgetやuseといった種別には関係ありません。
上に書いたものが先に実行されます。
(合ってると思うけど違ってたらごめんなさい)
今回はapp.use(bodyParser.urlencoded({ extended: true }));
を実行していますが、
これが何やってるかというと、第一引数reqのどっかに存在するPOSTのデータをreq.bodyに代入しているだけです。
その途中でライブラリがエラー吐いてコケているので、その手前でなんとかしなければなりません。
https://github.com/expressjs/body-parser
まずはプロジェクトルートのpackage.jsonをざっと読んでみます。
特別な事は書かれていないので、requireでbody-parserを呼び出した時、
index.jsを実行してbodyParser関数を返しているらしいということが分かります。
この辺を解析しながら、どれがPOSTの値なのか特定してください。
後は先回りしてiconvを食らわせてShift-JISの文字列をUTF-8に変更してやれば解決することでしょう。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう!
- ただいまの回答率 88.33%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
2019/03/13 02:27
頂いた内容をヒントに、"charset"でひたすらbody-parserのソースを検索してみたところ、運よく該当箇所を見つけました。
```
// assert charset
var charset = getCharset(req) || 'utf-8'
if (charset !== 'utf-8') {
debug('invalid charset')
next(createError(415, 'unsupported charset "' + charset.toUpperCase() + '"', {
charset: charset,
type: 'charset.unsupported'
}))
return
}
```
if文をコメントアウトし、ミドルウェア内で`iconv.encode("req.body,"UTF-8"")`でエラーは解消されました!本当にありがとうございます!
しかし、このようなモジュールの加工をしてしまうと脆弱性は生まれないでしょうか?
XSSなどに弱い気はするのですが、、、セキュリティ関係には完全に疎いため、わかりません。
もしご存知であればご教示いただけますと幸いです。