xmllintのxpathでhtmlを解析しようとすると日本語が文字化けする

xmllintのxpathでhtmlを解析しようとすると
日本語が文字化けする場合があります。
どうすれば文字化けしなくできるでしょうか？
よろしくおねがいします。

ニコ生の放送ページを解析しようとすると文字化けします。

bash
1curl "https://live2.nicovideo.jp/watch/lv329454492" | xmllint --html --encode utf-8 --xpath "//title" -

--encode utf-8をつけてもつけなくても文字化けします。

ですがニコ生のトップページでは文字化けしません。

bash
1curl "https://live.nicovideo.jp/" | xmllint --html --encode utf-8 --xpath "//title" -

nkf -g で文字コードを調べるとどちらもUTF-8なので
なぜ文字化けする場合としない場合があるのかもわかりません。

Windows 10 WSL2
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)
libxml version 20910

行動規範の内容に同意します

回答1件

ベストアンサー

取得したHTMLの<head>に、<meta charset="utf-8" />を追加しましょう。

curlで取得したのはHTMLだけで、HTTPヘッダが付いてないので、Content-Typeヘッダ相当をHTMLに追加する必要があります。
ブラウザはHTTPヘッダも見るので<meta charset=～>は不要です。

投稿2020/12/11 15:14

総合スコア84533

2020/12/12 14:46

<head>に<meta charset="utf-8" />を追加したら正常に解析できるようになりました。ありがとうございました！

2020/12/12 14:55

--encode ですが、Output in the given encoding. と書いてありますね。入力には関係ない。

行動規範の内容に同意します

あなたの回答

tips

プレビュー

行動規範の内容に同意します

質問の解決につながる回答をしましょう。サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。また、読む側のことを考えた、分かりやすい文章を心がけましょう。

15分調べてもわからないことは
teratailで質問しよう！

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

関連した質問