【PHP】【urldecode】日本語文字化け問題を解決する方法【初心者】

Question

現在、プログラムの勉強をしている初心者です。

勉強目的で作成して運営しているサイトにて問題が発生しました。
簡単なアクセス解析を自作して
運営しているサイトから他ブログへ送ったアクセス数と他ブログから送って頂いたアクセス数を計測しているのですが
「日本語を含むURL」を使用されている他ブログの場合に
urldecode()を行った際に文字化けを起こしてしまう事がありました。
（文字化けが起きない日本語URLもあったりして、解決方法が見つかりませんでした。）

---

【環境】

サーバ： Localhost via UNIX socket
サーバの種類： MySQL
サーバのバージョン： 5.6.38 - MySQL Community Server (GPL)
プロトコル バージョン: 10
サーバの文字セット: UTF-8 Unicode (utf8)
Apache
データベースクライアントのバージョン： libmysql - mysqlnd 5.0.11-dev
PHP 拡張: mysqliドキュメント curlドキュメント mbstringドキュメント
PHP のバージョン: 5.6.33
phpmyadmin:バージョン情報： 4.7.7 (最新版)

---

以下簡単なコードです。

try {
  $db = new \PDO(DSN, DB_USERNAME, DB_PASSWORD);
  $db->setAttribute(\PDO::ATTR_ERRMODE, \PDO::ERRMODE_EXCEPTION);
  echo "データベースへの接続が出来ました<br />";
}catch (\PDOException $e) {
  echo $e->getMessage();
  exit;
}

//クリックした外部サイトのURLを取得する為のidです。
$siteid = h($_GET['id']);

//$_GET['id']を使ってmysqlのデータベースにある記事の情報を取得しています。
$stmt = $db->query("select * from matome where id = $siteid");
$mysqlid = $stmt->fetchAll(\PDO::FETCH_OBJ);

//取り出した該当する記事の情報から「URL」を取得します。
foreach($mysqlid as $id) {
  $siteurl = $id->url;

//デコードを行って日本語化しています。
  $siteurl = urldecode($siteurl);
}

// //一連の作業が終わったら外部サイトへと自動的に飛ばします。
header("Location: $siteurl");

//日本語を含むURLがある場合、文字化けする時としない時があります。
echo $siteurl;

文字化けが発生してしまっているURL

$test1 = "http://xn--cckea5a6cidcbh6ce7ghug17a2ge3aht3nwigef51658aw7kd.com/%E9%9B%91%E8%AB%87/%E3%80%90%E3%83%87%E3%83%AC%E3%82%B9%E3%83%86%E3%80%91%E3%83%87%E3%83%AC%E3%82%B9%E3%83%86%E7%99%BA%E3%81%";

$test1 = urldecode($test1 );
echo $test1;

//実行結果・文字化け
http://xn--cckea5a6cidcbh6ce7ghug17a2ge3aht3nwigef51658aw7kd.com/雑談/【デレステ】デレステ発�%

この文字化けしてしまうのを解決できないと
MYSQLにてデータベースに保存する際に文字化けの部分でエラーが発生してしまい、
それ以降のアクセスの計測が出来なくなってしまい困っています。

試行錯誤を自分なりに頑張ってみたのですが上手くいきませんでした。
解決方法をご存知の方や
何かお気づきの点がございましたら
お力をお貸し頂けると嬉しいです。

どうかよろしくお願いいたします。

Answer 1

URLの末尾が「%E3%81%」となっていますが、少なくとも2バイト切れているようです。%E3 というデータから、これは UTF-8 の3バイト形式であることがわかります。それをURLエンコードすると 9バイトになるはずですが、7バイトしかありません。これが文字化けの原因です。本来は、もっと長いURLではないでしょうか?

失われたものを復元することは難しいので、「文字化けが起こらないようにデータを切り詰める」ことならできます。簡単なスクリプトを書いてみました。

<?php
$test1 = "http://xn--cckea5a6cidcbh6ce7ghug17a2ge3aht3nwigef51658aw7kd.com/%E9%9B%91%E8%AB%87/%E3%80%90%E3%83%87%E3%83%AC%E3%82%B9%E3%83%86%E3%80%91%E3%83%87%E3%83%AC%E3%82%B9%E3%83%86%E7%99%BA%E3%81%";

function decode($str) {
  for ($len = strlen($str); $len > 0; $len--) {
    $decoded = urldecode(substr($str, 0, $len));
    if (mb_check_encoding($decoded)) {
      return $decoded;
    }
  }
  return "";
}

echo decode($test1);

実行結果は以下となります。

http://xn--cckea5a6cidcbh6ce7ghug17a2ge3aht3nwigef51658aw7kd.com/雑談/【デレステ】デレステ発%E

これを見ると、%E が残っています。文字化けが起きないという点ではよいのですが、データの正しさという点では %E も消したいところですが、それを防ぐにはURLエンコードとして正しいかどうかの判定も追加する必要があります。
まずはこれくらいで。

Comments

[shimane]

素晴らしいです！

＞少なくとも2バイト切れているようです。%E3 というデータから、これは UTF-8 の3バイト形式であることがわかります。それをURLエンコードすると 9バイトになるはずですが、7バイトしかありません。これが文字化けの原因です。

プログラムの勉強を始めたばっかりでこの原因を発見する事がまったく出来ませんでした。
本物のエンジニアの方の実力は本当に凄いです。

問題解決だけでなくスクリプトまで有難うございます！
これでまた勉強を進めていく事が出来るようになりました。

本当に大感謝です！