URLは、UTF-8以外はあるのでしょうか

Question

###実現したいこと
URLについてUTF-8以外を想定する必要があるのか知りたいです。

※最終的にはユーザーがWEBサイトのURLを入力し、DBに保存する仕組みを実装したいです。その過程の検証が現状でしてその質問を投稿したのですが、そもそも検証すべきURLにどのようなものがありうるのか？を調べるために当質問をさせていただきました。

宜しくお願い致します。

###調べた内容と質問
調べているうちに下記Qiitaスライドの（8/17 ページ）を見つけまして、これに関して質問がございます。
https://qiita.com/sisisin/items/3efeb9420cf77a48135d

たとえば「ウィキペディア」を、各種の文字コードを用いてパーセントエンコーディングで符号化すると以下のようになる。

Shift_JIS - %83E%83B%83L%83y%83f%83B%83A
EUC-JP - %A5%A6%A5%A3%A5%AD%A5%DA%A5%C7%A5%A3%A5%A2
UTF-8 - %E3%82%A6%E3%82%A3%E3%82%AD%E3%83%9A%E3%83%87%E3%82%A3%E3%82%A2

とのことですが、UTF-8以外がなぜ想定されているのかわかりません。

エンコードされたURL（前提にあるようにユーザー入力のものです）はUTF-8以外はありえないと思うのですが、入力されることはあるのでしょうか？

もしあれば、それはどのようなURLですか？

###UTF-8以外はありえないと思う理由
実際に以下アクセスしてみたのですが、日本語版とUTF-8版しかアクセスできませんでした。
なのでなぜEUC-JPやUTF-8が想定されているのか、というのが疑問なのです。

日本語 - https://ja.wikipedia.org/wiki/ウィキペディア
Shift_JIS - https://ja.wikipedia.org/wiki/%83E%83B%83L%83y%83f%83B%83A
EUC-JP - https://ja.wikipedia.org/wiki/%A5%A6%A5%A3%A5%AD%A5%DA%A5%C7%A5%A3%A5%A2
UTF-8 - https://ja.wikipedia.org/wiki/%E3%82%A6%E3%82%A3%E3%82%AD%E3%83%9A%E3%83%87%E3%82%A3%E3%82%A2

Answer 1

「UTF-8以外はありえない」というのが間違ってますね。

UTF-8以外はありえないと思う理由

それは、https://ja.wikipedia.orgのサイトがUTF-8を採用していることが分かっただけです。

今から構築するサイトであれば、UTF-8以外を選択する理由は無いですが、10年、20年前に作成されてそのまま継続しているサイトだと、それ以外のエンコーディングを採用しているサイトもあるでしょう。

Comments

[otn]

Pukiwikiという日本製のWikiCMSだとUTF-8版が出たのが2006年のようです。それ以前にPukiwikiで構築されたwikiサイトのURLの日本語はEUC-JPですね。UTF-8版が出た後もEUC-JP版はあるので、2000年代だとEUC-JPを選んだ人もいるかと。

[gasorin]

たしかに。仰る通りwikipediaで採用されているというだけですね。以前のお話など大変勉強になりました。ありがとうございます。

[otn]

ブラウザのアドレスバーに、
https://ja.wikipedia.org/wiki/ウィキペディア
と入力するとUTF-8でURLエンコードしてからリクエストしてくれる機能も多分十数年前からだったんじゃ無かったかと思います。

[gasorin]

そうなんですか。ここ１、２年しか知らず驚くばかりです。勉強になります。

Answer 2

パーセントエンコーディングを使えば、すべてのデータが使えます。Shift_JIS や EUT_JP どころか、文字列にデコードすることのできない URL も考えられるので、UTF-8 に直ると思ってはいけません。
たとえば URL の一部としてクエリを含むものであれば、何かのハッシュをパーセントエンコーディングしていることも十分考えられます。

また、otn さんも触れられていますが、昔は Shift_JIS や EUC_JP をパーセントエンコーディングした URL は普通にありました。今でも探せば残っていると思います。

Comments

[gasorin]

みなさんご経験豊富ですね。質問してよかったです。ありがとうございました。

> URL の一部としてクエリを含むものであれば
というのがイメージできなかったのですが、具体的にどんなURLになりますか？

「クエリを含む」というのは以下のように「?」がある場合のことだと思いますが、
http://example.com/search?query=hello&page=1
ここに「ハッシュをパーセントエンコーディングしている」というのがわからない状態です。

[Zuishin]

文字列だけでなくバイナリをエンコードしたものも使えるという意味です。
たとえばアフィリエイトキーなどはそのサイトを特定する値でしょうし、それはテキストである必要はないでしょう。

[gasorin]

ご返信ありがとうございます。「>バイナリをエンコード」ですか。まだいまいちわからずにいまして（理解が追い付かずすみません）、バイナリの値である「101」はエンコードしても「101」ですよね。するとクエリにアフィリエイトキーを含んでも次のようになる
http://example.com/search?query=hello&page=1&affiliate_key=101
ので、「> UTF-8 に直ると思ってはいけません」ということはなく、というかそもそもUTF-8のままなので問題ないのではないか、と思ってしまいます。

[Zuishin]

バイナリの値である 101(二進数) をエンコードすると %05 になります。UTF-8 にはできません。

[gasorin]

失礼いたしました。数値とバイナリというのは異なる型になるということですね。urlencode(101) を考えていました。
最後に１つだけ、お手数ですみません。バイナリのエンコードだけ教えてください。ただいま（数分ですが）検索しても、base64やhex2binしか見当たらず、２進数という型に対してエンコードをかける関数を見つけることができません。どのようなコードで「101」は「%05」に変換されるのでしょうか？

[Zuishin]

16 進数にして頭に % をつけます。
https://ja.wikipedia.org/wiki/%E3%83%91%E3%83%BC%E3%82%BB%E3%83%B3%E3%83%88%E3%82%A8%E3%83%B3%E3%82%B3%E3%83%BC%E3%83%87%E3%82%A3%E3%83%B3%E3%82%B0

[gasorin]

なるほど。wikipediaまでどうもありがとうございます！お手数おかけしました。