文字コードについて

Question

下記コードのcharsetに”Shift_JIS”を代入しても、charset = f.charsetにShift_JISが入らない原因は何が考えられるでしょうか？

# URLにアクセスするためのライブラリの読み込み
require 'open-uri'
# Nokogiriライブラリの読み込み
require 'nokogiri'

# スクレイピング先のURL
url = 'shift-jisのサイト'

charset = ”shift-jis”
html = open(url) do |f|
  charset = f.charset # 文字種別を取得
  f.read # htmlを読み込んで変数htmlに渡す
end

# htmlをパース(解析)してオブジェクトを生成
doc = Nokogiri::HTML.parse(html, nil, charset)

Answer 1

charset = ”shift-jis” 
html = open(url) do |f| 
  charset = f.charset 
  p f.charset # -> 何が出力されますか？
  f.read 
end

OpenURI::Metaリファレンスによると以下のように記述されています。

charset -> String | nil
charset { ... } -> String

なのでnilが代入されてませんか？ちなみにdoc = Nokogiri::HTML.parse(html)だけだと，不都合があるのでしょうか？

おそらくコードの問題ではなく読み込むurlのソースに問題がありそうです。対症療法的ですが，
charset = f.charset||charset
あたりで逃げてみるというのも手かもしれません。

自分の経験からスクレイピングで厄介なのは，こちら側のコードの問題より，スクレイピング先のhtmlコードに問題がある場合でした。

Comments

[terate]

ありがとうございます！スクレイピング先の問題もあるんですね。。大変勉強になりました！

Answer 2

こちらのサイトが参考になるのではないかと思います。
http://route477.net/d/?date=20110119

URIを渡してopenしているのはrequire 'open-uri'しているからだと思いますが、
そのopen-uriでのファイルオブジェクトはOpenURI::Metaとして拡張されていますので、
以下のページをいちど参照されるとよいかと思います。
参考：
http://docs.ruby-lang.org/ja/2.1.0/class/OpenURI=3a=3aMeta.html
http://docs.ruby-lang.org/ja/2.1.0/library/open=2duri.html

具体的な解決策を提示できず申し訳ないですが、お役に立てれば幸いです。

Comments

[terate]

ありがとうございます！リンク先も読んでみました！すごく勉強になりました！！

Answer 3

charset = ”shift-jis” じゃなくcharset = "Shift_JIS"
としてもだめでしょうか？

追記
こちらのサイトが参考になりそうなのですが、
いかがでしょうか？

　http://ref.xaio.jp/ruby/classes/string/encode

Comments

[terate]

ごめんなさい、今自分でも気づき編集致しました。”Shift_JIS”でもダメなんです・・

[hato_pato]

url = 'shift-jisのサイト'

charset = ”Shift_JIS”
html = open(url) do |f|
f.read # htmlを読み込んで変数htmlに渡す
end

html.encode(charset)

じゃだめでしょうか？

[terate]

本当にありがとうございます！そのようにして解決致しました！