nokogiri利用時のcharset=nilについて(Ruby)

Question

こんにちは。

webスクレイピングの勉強をしています。

複数エントリーを眺めて勉強していますが、
Nokogiriで簡単なWebスクレイピング
のページに気になるコメントがありました。

早い話、##########の部分を書き換え可能と言う話であります。

require 'open-uri' 
require 'nokogiri' 

url = '{URL}'

#########################################
charset = nil
html = open(url) do |f|
  charset = f.charset # 文字種別を取得します。
  f.read              # htmlを読み込み変数htmlに渡します。
end
page = Nokogiri::HTML.parse(html, nil, charset) #htmlを解析し、オブジェクト化
#########################################
# 上の６行を１行に書き換え可能
page = Nokogiri::HTML.parse(open(url))
#########################################


res = page.search('*****')
p res.text

知りたいこと。

そこで気になったのはUTF-8というのは日本語のページ限定なのでしょうか。
例えば英語のサイトをスクレイピングするときはcharset=nilが必要なのでしょうか。
お詳しい方、ご教授いただけると幸いです。

Answer 1

charsetを指定しない場合、文字コードはlibxml2の自動判別に頼ることになります（Nokogiriのドキュメント）。「勝手にUTF-8として解釈される」ということではありません。

英語の場合はASCIIの範囲内ということで、多くの文字コードでそのままの位置にあるために化ける心配はほぼないとは思います。

ただ、サーバからcharsetが来ているなら、（元のコードのように）それを使うのがいちばん確実です。

Comments

[退会済みユーザー]

maisumakunsさんありがとうございます。助かりました！
「サーバーからcharsetがきている」と言う状態が理解および知識不足ですが、
http://d.hatena.ne.jp/cero-t/20110614/1308063484
を見て、ちょっと学習したいと思います！！