json_decode()で配列に変換するとユニコード文字が文字化けする

前提・実現したいこと

APIから取得したJSONをPHPにてMYSQLのデータベースに登録したい。
JSONテキストをjson_decode()で配列に変換すると、
読めないユニコード文字が文字列として取り扱えない。

なお、受信しているJSONはLINEからのJSONであり
LINE独自の絵文字が返信されてきています。
「\uDBC0\uDC8D」
このため通常のブラウザでは表示できず????となっています。
この文字列を「\uDBC0\uDC8D」のままでMySQLに登録したい。

json_decodeを使うと文字化けするため、
使用せずに該当文字列だけ取り出して変数に
そのまま入れることはできないでしょうか。

発生している問題・エラーメッセージ

デコード前
string(xx) "{"Message":"\uDBC0\uDC8D"}"

デコード後
array(1) { ["Message"]=> string(4) "????" }

サーバー環境　
PHP７.2.1　　mysql5.2

該当のソースコード

$json = json_decode($json,true);
$Message = $json["Message"];
var_dump($Message);

＜質問への返答及び追記＞
（１）「普通の日本語など、他のマルチバイト文字列はどうしたいですか？」
LINE絵文字と日本語文字列　が一緒に送信されてくるため、
他のマルチバイト文字列は日本語のテキストとして、mysqlに登録したいです。
例えば、「\uDBC0\uDC8Dこんにちは」というように登録したいです。

（２）「取り扱えない」の意味について
json_decodeした後に、\uDBC0\uDC8Dという英数字のままでmysqlに登録したいのですが
外字のため変換されてしまい英数字のままにできないという意味です。

⇒追記
\uDBC0\uDC8Dの文字がブラウザで表示されずに「????」になっているだけのようすです。
mysqlもブラウザからphpmyadminで中を見ているので「????」が登録されています。
この「????」をLINEに送信すると元の絵文字が表示されました。
単にブラウザで表示できていないだけのようです。

（３）外字に対するグリフが見つからないだけでは？
すみません、その通りです。
初心者なので外字が見つからないために表示されないので、どのように対処すべきかわからない状況です。

（４）バイナリデータとしてデータベースに登録すれば？
バイナリデータとして登録したことがないので調べながら試してみます。

mpyw

2018/04/07 05:05

普通の日本語など，他のマルチバイト文字列はどうしたいですか？

退会済みユーザー

2018/04/07 05:32

>読めないユニコード文字が文字列として取り扱えない。

退会済みユーザー

2018/04/07 05:33

「取り扱えない」って、どういう意味だんべ？

退会済みユーザー

2018/04/07 05:33

わかった。

退会済みユーザー

2018/04/07 05:38

やっぱ、わからん。

退会済みユーザー

2018/04/07 05:40

ぜったい、勘違いしてるだけだろうな。

defghi1977

2018/04/07 06:24

単なる”外字”に対するグリフが見つからないだけでは？

退会済みユーザー

2018/04/07 07:44

修正してくれたんだけど、やっぱり、mysqlに登録したいけど変換されて英数字のままにできない、というのが、何言ってるのかわかんない。

退会済みユーザー

2018/04/07 07:48

正しくこの文字列\uDBC0\uDC8Dを登録したいならリテラル定義してるところでエスケープすれば良いだけだけど、そこはLINEから来てる文字列のはずだからそんな訳ない。

退会済みユーザー

2018/04/07 07:49

たぶん、このままいくと、y_waiwaiのトンチンカンなアドヴァイスまにうけてそっちで対処しそう。

退会済みユーザー

2018/04/07 07:50

おそらく、凄い簡単な事だと思うんだが…。

退会済みユーザー

2018/04/07 07:53

問題が発生してるのがどこなのか切り分け出来てないのかな？

ishidou

2018/04/07 07:59

退会済みユーザー

2018/04/07 08:02

では、問題解決ってこと？

defghi1977

2018/04/07 08:03

問題がなかったことが問題だったということで

退会済みユーザー

2018/04/07 08:41 編集

あとはもう、defghi1977さんの言うようにフォント対応ですね。

行動規範の内容に同意します

回答5件

ベストアンサー

問題は二つだと思っています。

MySQLへの登録時にエラーになる、または、無視や途切れが発生する。
ブラウザ上で文字化け(Tofu)が発生する。

それぞれ分けて考えます。なお、PHPのコードは全てUTF-8で処理していることが前提です。

まず、"\uDBC0\uDC8D"が何かというとこれはサロゲートペアというもので、この二つセットで一つの文字を表しています。JavaScriptでは内部の文字列がUTF-16になっているため、U+10000以上のユニコード文字は必ずサロゲートペアになります。正しく処理されればU+10008Dという一つの文字になります。ただし、この文字はSupplemental Private Use Area-B(私的領域の一つ)というブロックに属しており、アプリケーションやフォントによって好きな文字を割り当てても良いのですが、互換性のない他のアプリケーションやフォントではその文字は用意されない(または、別の何かになる)ため、文字化けが発生します。ここまではいいでしょうか？

最初にMySQLへの登録についてです。通常、MySQLでユニコード文字列を扱う場合、文字コードとしてutf8またはutf8mb4を使っていることがほとんどだと思います。そして、デフォルトのまま設定している場合や内容が古いサイトや本等を参考にした場合はutf8になっていることがほとんどでしょう。しかし、ここにutf8の罠があります。utf8はU+FFFFまでのユニコード文字にしか対応しておらず、U+10000以上の文字は扱えません。絵文字(????など)や一部の異字(????など)が対応していないと言っている場合、MySQLがutf8だったためというのがあります。これを解消するには文字コードをutf8mb4に変更するしかありません。一応、途中で変える手順もあるようですが、私は失敗したことがあるので、最悪DB全てを作り直すことも視野に入れてください。ということで、まずはMySQLの文字コードがutf8mb4になっているかを確認してください。**utf8の場合はU+10008Dを含め絵文字等も登録できません。**utf8mb4に変更してください。

次にブラウザ側の文字化けです。MySQLへの登録されうまくいけば、ブラウザまではU+10008Dを渡すことができます。しかし、この文字は私的領域であるため、ブラウザにこの文字を表示するためのグリフ(図形)を持つフォントはありません。方法は二つです。

その文字のグリフを持つフォントをWebフォントとして提供する。
別の文字などに置き換える。

WebフォントはLINE社が自由に使って良いものを用意していなければ、難しいでしょう。フォントが無ければ置き換えです。置き換えはPHP側で行います。正規表現などを使って私的領域※の文字を別の何かに置き換えます。ただし、preg系(PCRE)をu付きで使うか、mb_ereg系(Oniguruma)を使う必要がありますので、ご注意ください。

※ 私的領域の文字の範囲(LINEが全て使用するわけではありません)
U+E000 から U+F8FF
U+F0000 から U+FFFFD
U+100000 から U+10FFFFD
PHPにはユニコード文字リテラルがないようですので、正規表現を書くには一工夫必要です。とりあえず、サンプルを書きましたので、参考にしてください。

PHP
1<?php
2$json = '{"Message":"これは\uDBC0\uDC8Dです。"}';
3$json = json_decode($json,true); 
4$Message = $json["Message"];
5var_dump($Message);
6$Message = preg_replace("/[\xEE\x80\x80-\xEF\xA3\xBF\xF3\xB0\x80\x80-\xF3\xBF\xBF\xBD\xF4\x80\x80\x80-\xF4\x8F\xBF\xBD]/u", "【表示不可】",$Message);
7var_dump($Message);

投稿2018/04/07 08:04

編集2018/04/07 08:13

raccy

総合スコア21754

退会済みユーザー

2018/04/07 08:08

>最初にMySQLへの登録についてです。通常MySQLでユニコード文字列を扱う場合、文字コードとしてutf8またはutf8mb4を使います。 MySQL の utf8 は3バイト文字にしか対応していないので、今回の絵文字問題では utf8 は使っちゃダメでぇす。 utf8mb4じゃないとダメでぇす。だから、ずっと問題の切り分けを促してるのに…。

raccy

2018/04/07 08:10

utf8だと駄目だよと書いているんですが、すいません、わかりにくかったですか？ちょっと強調を含めます。

退会済みユーザー

2018/04/07 08:11

だぁって、絵文字は4byte文字だって事、恐らくしらないんでしょうから、U+10000以上の文字って何だよ？ってなるじゃないですか。

ishidou

2018/04/07 08:12

utf8は使っていませんでした。以前にLINE以外の絵文字が出なかったので、utf8mb4にしています。

退会済みユーザー

2018/04/07 08:14

やーっと、「この「????」をLINEに送信すると元の絵文字が表示されたので単にブラウザで表示できていないだけのようです。」っていう返答を引き出して、『utf8mb4にはなってるのね』って確認したところで、この長文が来るから、なぁにやってんだろうなと思うわけですよ。

raccy

2018/04/07 08:19

回答を書いている途中に進んだ内容は読めてなかったです。再読込すると、投稿内容が消えることがあるので。で、一体どこで、utf8mb4になっている話が出ていたのですか？私が確認をミスっていたのでしょうか？

ishidou

2018/04/07 08:25

raccy様、lucker様有難うございます。途中でコメントしていましたので、混乱させてしまいましたね。どこで問題が起こっているのかが、わらからないのが一番の問題でした。状況を切り分けていただきながら進めて頂いていましたので、なんとか理解できました。当面はサンプルコードを利用して表示できないことを画面に表示させたいと思います。

mpyw

2018/04/09 11:05

PHP7からUnicodeコードポイント表記入りました PHP7調査(6)文字列中にコードポイントでUTF-8の1文字を書けるようになった - Qiita https://qiita.com/hnw/items/513dfc411ae22d0cdaa6

行動規範の内容に同意します

NOTE:
MySQLにおけるユニコード文字列の取扱いについてはraccyさんの回答をご覧ください.

MySQL側の文字コードがutf-8ならべつにIN-OUTで文字コードが変化しているわけじゃないので、そのままで良いと思いますが？

????と表示されるのが気持ち悪いのは判りますが, これは文字化けというより"豆腐"です.

WEBブラウザにおける"豆腐"を解決するのであれば"豆腐"化しているグリフを含むWEBフォント(woff形式など)を配布すればよいでしょう. CSSには@font-face規則を用いてHTTP経由でWEBフォントを読み込む仕組みがあります.

https://developer.mozilla.org/ja/docs/Web/CSS/@font-face

投稿2018/04/07 08:02

編集2018/04/07 08:18

defghi1977

総合スコア4756

ishidou

2018/04/07 08:06

回答有難うございます。豆腐が気持ち悪いのですが、なんとかブラウザでも表示されるようにはできないものでしょうか。

defghi1977

2018/04/07 08:08

できるよ. WEBフォントをこさえて, WEBブラウザに配信すれば良いのですよ. https://developer.mozilla.org/ja/docs/Web/CSS/@font-face CSSに専用の@font-face規則ってのがありましてですね, これを使えば良いのです.

ishidou

2018/04/07 08:18

なるほどWEBフォントをこさえないといけないのですね。 LINEから配布されるとよいのですが。

defghi1977

2018/04/07 08:20

なんかユースケース的に「よくありそう」なので, 色々と調べてみればいいと思います. (もしなければ、自分で作って自慢するのも良いでしょう)

行動規範の内容に同意します

（２）「取り扱えない」の意味について
json_decodeした後に、\uDBC0\uDC8Dという英数字のままでmysqlに登録したいのですが
外字のため変換されてしまい英数字のままにできないという意味です。

これ、どういう状態ですか？

何をもって、「外字のため変換されてしまい」と判断し、実際にどうなっているんですか？
どうやってそれを確認したんですか？

提示されたソースコードって

PHP
1$json = json_decode($json,true); 
2$Message = $json["Message"];
3var_dump($Message);

これですけど、ここで絵文字が表示されないから問題だと思っているのか
mysqlに登録したら変換されてしまって元の文字が維持できていないから問題だと思っているのか
よーわからんのですよ。

デコード前
string(xx) "{"Message":"\uDBC0\uDC8D"}" 

デコード後
array(1) { ["Message"]=> string(4) "????" }

string(4)ってことは恐らく普通にjson_decode()出来ていると思うんだけど…。

とにかく、何をもって上手くいかないと判断しているのかが分からないので回答すべきかどうか悩むっす。

投稿2018/04/07 07:55

編集2018/04/07 08:01

退会済みユーザー

総合スコア0

ishidou

2018/04/07 08:04

混乱させてしまってすみません。 \uDBC0\uDC8Dの文字がブラウザで表示されずに「????」になっているだけのようすです。mysqlもブラウザからphpmyadminで中を見ているので「????」が登録されています。この「????」をLINEに送信すると元の絵文字が表示されたので単にブラウザで表示できていないだけのようです。ブラウザで表示されない　＝　json_decodeができていない　と判断していました。しかし、LINEのAPIを使って送受信した内容をPCのブラウザから見れるようにしたいので見れないという問題は残ったままです。

defghi1977

2018/04/07 08:07

> しかし、LINEのAPIを使って送受信した内容をPCのブラウザから見れるようにしたいのでだら, LINEが使っている文字コードに対応するWEBフォントを作って配信すれば済むことでは？

行動規範の内容に同意します

文字列ではなく、バイナリデータとしてデータベースに登録すればいいんじゃないでしょうか。

投稿2018/04/07 05:12