[Ruby]`encode': "\xAD\xE8" from EUC-JP to UTF-8 (Encoding::UndefinedConversionError)

Question

前提・実現したいこと

rubyでwebスクレイピングプログラムを作ろうとしています。
htmlの取得にopenuriを使っているのですが、以下のプログラムのようにio.readをしてそれをファイル出力すると文字化けしています。
そこでencodeでutf-8を指定してみたのですが、以下のようなエラーが出て困っています。
文字コードの指定はどのようにすればいいのでしょうか。
ご教示お願いします。

発生している問題・エラーメッセージ

`encode': "\xAD\xE8" from EUC-JP to UTF-8 (Encoding::UndefinedConversionError)

該当のソースコード

io = OpenURI.open_uri('任意のアドレス')
html = io.read.encode('utf-8')

Answer 1

JISX0208に無い文字ですね。Windowsの「いわゆるシフトJIS」CP932での追加文字のEUC-JP版です。

string.encode('utf-8', 'EUC-JP-MS')

ウェブサイトでのシフトJISやeuc-jpは、こういうMicrosoft追加文字が混じっていることが多いので、Shift_JISやeuc-jpでなくCP932やeuc-jp-msを指定します。

Answer 2

Ref: String#encode

変換元のエンコードを指定しない限り、スクリプトのエンコードを変換元とするので、

string = OpenURI.open_uri('任意のアドレス').read
html = string.encode('utf-8', 'EUC-JP')

ではないでしょうか