PHPによるURLの判定の不具合

Question

実現したいこと

• 日本語だと通過できるようなコードにしたい。

詳細

$urlに日本語が含まれたURL(例: https://example.com/あいうえお )の場合に「URLの形式が正しくありません。正しいURLを入力してください。」になる理由が分かりません。
そこまで詳しいわけではないので分かりやすく説明・修正方法をご提示ください。
宜しくお願い致します。

該当のソースコード(一部)

    if ($url !== null) {
        if (!isValidURL($url)) {
            $errors[] = "URLの形式が正しくありません。正しいURLを入力してください。";
        }
    }

~~~

function isValidURL($url) {
    return filter_var($url, FILTER_VALIDATE_URL) && preg_match("/^(https?):/", $url);
}

Answer 1

URLに使える文字は決まっていて、それ以外の文字はエンコードします。
URLはいくつかのパートに別れているので、パート毎に使える文字の範囲が異なります。

PHPでどうするのが普通なのかよく知りませんが、例えば、

$url="https://api.kmr1.org/v1/?" . http_build_query(["url"=>"https://example.com/あいうえお"]);

で、クエリーパラメーターの中のurlの値がエンコードされます。

Answer 2

PHP 8.3.8で確認しました。

isValidURL関数に1行追加します。

function isValidURL($url) {
    $url = idn_to_ascii($url);
    return filter_var($url, FILTER_VALIDATE_URL) && preg_match("/^(https?):/", $url);
}

https://www.php.net/manual/ja/filter.filters.validate.php
のFILTER_VALIDATE_URLには、「この関数は、ASCII の URL のみを正しいとみなすことに注意しましょう。 国際化ドメイン名 (非 ASCII 文字を含むもの) は失敗します。」とあります。

idn_to_ascii
https://www.php.net/manual/ja/function.idn-to-ascii.php

(訂正)
最初の回答は、国際化ドメインと日本語URLを勘違いしていました。申し訳ございませんでした。

isValidURL関数に3行追加します。

function isValidURL($url) {
    $url = rawurlencode($url);
    $url = str_replace("%3A", ":", $url);
    $url = str_replace("%2F", "/", $url);
    return filter_var($url, FILTER_VALIDATE_URL) && preg_match("/^(https?):/", $url);
}

(訂正・その2)
otnさんの指摘により訂正します。

isValidURL関数に5行追加します。

function isValidURL($url) {
    $url = rawurlencode($url);
    $url = str_replace("%3A", ":", $url);
    $url = str_replace("%2F", "/", $url);
    $url = str_replace("%3F", "?", $url);
    $url = str_replace("%3D", "=", $url);
    return filter_var($url, FILTER_VALIDATE_URL) && preg_match("/^(https?):/", $url);
}

Comments

[lap]

ご返信ありがとうございます。
無事日本語などが使えるようになったようですが、URLが60文字以上の場合にエラーになってしまうバグが発生しています、コード内では文字数を制限するロジックはありませんし、Mysqlの元URL部分のカラムもvarchar(2000)としているので問題ないはずです。

https://api.kmr1.org/v1/?url={ここにURLを入れるのですが試した感じ60字以上ならエラーになってしまいます}

[lap]

URLによっては60文字じゃなくて90文字だったりもしました、より一層分からなくなりました...

[hiroki-o]

エラーの内容を具体的に提示してください。idn_to_ascii、filter_var、preg_match、どこでエラーになりますか？

[lap]

エラーというのは以下のようになるということです。語彙力なくてすみません
{
"errors": [
"URLの形式が正しくありません。正しいURLを入力してください。"
]
}

[lap]

文字数に関数処理が無いのにURLの文字数によって(特定文字数以上)処理が変わる意味が分かりません。

[tezcello]

idn_to_ascii()は、デフォルトでは使えないのでは？
＿＿手元のPHP公式8.3Dockerイメージにはライブラリ等が含まれていないので使えない
それに趣旨としては「国際化ドメイン」を使える様にするのであって、パス以下を変換するのに使うモノではない様に思いますけど？

標準的なモノで対策するなら、parse_url()で分解して、path'部を rawurlencode() を通すとかでしょう。
ただし、path部が多階層になっていると面倒です。

[hiroki-o]

tezcelloさん
おっしゃる通りです。国際化ドメインと日本語URLは異なりますね。
今、訂正した回答を考えていたところです。
Lapiusさん、tezcelloさん、申し訳ございませんでした。

[lap]

確認した感じ完全に治りました！
本当にありがとうございました

[otn]

上記の3行を追加すると、チェックするURLは、
"https://api.kmr1.org/v1/%3Furl%3Dhttps://example.com/%E3%81%82%E3%81%84%E3%81%86%E3%81%88%E3%81%8A"
という、実際にこのURLにアクセスしても目的ものが返ってこない、使えないURLなわけですが、
（PATH部分が "/v1/?url=https:/example.com/あいうえお" で、QUERY_STRINGが空。
加工前の本来のURLだと、PATHが"/v1/"で、QUERYが "url=https:/example.com/あいうえお"）
その実際に使えないURLをチェックしてどういう意味があるのか？
まあ、質問者が「何のためにチェックしたいのか」という目的次第ですが。

[hiroki-o]

otnさん
私の回答で気分を害されたようで、申し訳ございませんでした。
最低限、filter_varとpreg_matchが通ればよいと思って、そのように回答しましたが、間違いだったのですね。
(となると、filter_varは、URLのチェックのあてにならない関数なのでしょうか？)

ただ、私の回答が間違いだったとしても、これを読んだ人には
$url = str_replace("%3F", "?", $url);
$url = str_replace("%3D", "=", $url);
を追加するくらいの機転は利かせてほしいなあと思います。

少しでも動くソースを提供したいと思って回答しましたが、100％完璧な回答しか許されないのでしょうか。
これの続きの質問が出ているようですが、今回は自粛します。

[tezcello]

> 100％完璧な回答しか許されないのでしょうか
そうではなく、「抜けている部分があるよ」という指摘のつもりだったのでしょう。

個人的には、URL全体を一気にrawurlencode()を通してしまったのが悪手だったかなと思います。
先にもコメントした様に、parse_url()で分解して、必要な部分を変換してから連結すべきだったんじゃないかと。

> 機転は利かせてほしいなあと思います。
激しく同意しますが、現実的には「動作するコード」が欲しいだけで、なぜ動作しない（期待した動作でない）のかの解説が欲しい訳じゃない場合が非常に多いと思います。

> 続きの質問が出ているようですが、今回は自粛します。
自粛は不要では？
otnさんの指摘は回答へ向けたモノでは無く、質問に向けられたモノのはずですから。

Answer 3

urlには日本語文字列は利用出来ません。
rawurlencode関数を通してurlエンコードする必要があります。