ActionDispatch::Request オブジェクト user_agent を取得すると、文字コードが ASCII-8BIT になっている理由を知りたい

Question

質問

下記のように、ActionDispatch::Request オブジェクト の user_agent を取得すると、

request.user_agent.encoding

ASCII-8BIT

と出ます。
UTF-8 でないのはなぜなのでしょうか。

ユーザーエージェントは、Chrome の自動設定される値を何もいじっていません。

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36

です。

背景

HTTPリクエストのユーザーエージェントに２バイト文字を入れて、

  { test: request.user_agent }.to_json

と書くと、

Encoding::UndefinedConversionError "\xE3" from ASCII-8BIT to UTF-8

上記エラーが発生します。

上記エラー回避のために、最初から UTF-8 になっていてほしいのです。

Answer 1

HTTPリクエストのユーザーエージェントに２バイト文字を入れて

そもそも、HTTP/1.1では、コメント部分を除けばUser-AgentとしてASCII文字しか利用できません。

User-Agent = product *( RWS ( product / comment ) ) （RFC 7231§5.5.3）

product = token ["/" product-version]
product-version = token （以上、RFC 7231 §5.5.3）

このtokenは、「セミコロンを除いた\x21-\x7eの文字の繰り返し」と定義されています。

Comments

[maisumakun]

RFC 7231はHTTP/2からも参照していますので、HTTP/2でも使える文字は同じです。