スクレイピングで文字を取得できない

Question

###発生している問題・エラーメッセージ
サイトから文字列を取得したいのですが特定の文字がうまく取得できません。
そのサイトのソースコードにはcharset=utf-8とあります。
utf-8としてNokogiriでパースしたのですが、
＼(^-^)／ や (´,,･ω･,,｀) といった文字列を含んでいると、それ以降の文字を読み込んでくれません。
何か対応策はないでしょうか。。

###該当のソースコード

charset = "utf-8"
html = open(url) do |f|
f.read
end
doc = Nokogiri::HTML.parse(html, nil, charset)

特定の文字列を含んでいなければ問題がないのですが、その文字列があるとうまくいかないのです。

###使用している環境

ruby 2.3.1p112 (2016-04-26 revision 54768) [x86_64-darwin15]

Answer 1

＼(^-^)／ や (´,,･ω･,,｀) はすべてJISの範囲の文字なので、おかしくなることは考えられません。
本当にそういう文字ですか？

html = open(url) do |f|
f.read
end
p html.force_encoding("utf-8").valid_encoding?  #1
p html.force_encoding("utf-8").encode("Shift_JIS") #2

で、#1はtrueですかfalseですか？#2でエラーは出ますか？

Comments

[Naggy]

#1,#2も問題がなかったのですが、
いろいろ試行錯誤していたら問題は、requireした自分で作った.rbファイルに原因がありました。。。。
本当に申し訳ないです。。

Answer 2

nokogiriと文字
この質問が参考になるかも？
つまり文字コードが違うとか。
##補足
よく見たら同じ人ですね。失礼しました。

追記
私が文字コードの置き換えでエラーが発生したときに使う方法を一応書いてみます。

html.encode('Windows-31J','UTF-8', :invalid => :replace, :undef => :replace)

今回は、まだ文字コードが問題の原因か分かっていないので
まずはotn様がおっしゃっていることを試されたら良いと思います。
参考
あのう・・な毎日

Comments

[Naggy]

前回はcharset=shift-jisと記載されているけど、実際はWindows-31Jだという話で、今回はそれがcharset=utf-8なんですね。
どう対処すればいいかがわからなくてこまっています。

[退会済みユーザー]

対象のサイトが私には分からないので今の私には原因を特定することは困難です。
以前、似たような質問を見かけたなぁと思い出して少しでも助けになればと回答しました。

[Naggy]

#1,#2も問題がなかったのですが、
いろいろ試行錯誤していたら問題は、requireした自分で作った.rbファイルに原因がありました。。。。
本当に申し訳ないです。。
otn様のサイトのご紹介ありがとうございました！