rubyのgetsメソッドについて

Question

前提・実現したいこと

コマンドプロンプト上で日本語を受け取り、受け取った結果を表示できるようにしたいです。
rubyのgetsメソッドを用いて実現しようとすると制御文字らしいものまで表示するようになってしまい、getsメソッドの挙動までおかしくなってしまいました。
コマンドプロンプトの文字コードはShift_JISで、ソースコードはUTF-8です。encodeメソッドでUTF-8に変換してもうまくいきません。

発生している問題・エラーメッセージ

• 実行結果

$ruby teststdin.rb
あいうえお

Traceback (most recent call last):
        1: from teststdin.rb:2:in `<main>'
teststdin.rb:2:in `encode': "\xA0" on Windows-31J (Encoding::InvalidByteSequenceError)

• 問題点

getsメソッドで”あいうえお”を受け取っても実行されずもう一度エンターキーを押さないと実行されない。

該当のソースコード

# -*- coding: utf-8 -*-
s1 = gets.chomp.encode("utf-8")
puts s1

試したこと

chcp 65001のコマンドでコマンドプロンプトの文字コードをUTF-8に変えても文字化けしてしまいうまくいきませんでした。

補足情報（FW/ツールのバージョンなど）

Rubyのバージョンは2.5.1,OSはWindows [Version 10.0.17134.165]です。
また実行結果は入力する文字によってエラーメッセージがわずかに変わりました。

• 例

$ruby teststdin.rb
かきくけこ

Traceback (most recent call last):
        1: from teststdin.rb:2:in `<main>'
teststdin.rb:2:in `encode': "\xFF" on Windows-31J (Encoding::InvalidByteSequenceError)

Comments

[s8_chu]

質問が既に解決されているようなので、ベストアンサーの選択、もしくは自己回答を行って質問を解決済みにしていただけませんか？

Answer 1

str = gets.chomp
puts "ENV['RUBYOPT']   = #{ENV['RUBYOPT']}"
puts "__ENCODING__     = #{__ENCODING__} "
puts "default_external = #{Encoding.default_external.inspect}"
puts "default_internal = #{Encoding.default_internal.inspect}"
puts "locale_charmap   = #{Encoding.locale_charmap}"
puts "str.encoding     = #{str.encoding.inspect}"
puts str
p str

このスクリプトを実行して日本語入力するとどうなりますでしょうか？

---

追記

とりあえず、暫定的な対処療法としては

String#scrub
String#encodeのinvalid,replaceオプション

ですかね

サンプル

puts gets.chomp.scrub('')
puts gets.chomp.encode("utf-8", invalid: :replace, replace: '')

Comments

[geki]

以下のような実行結果になりました
```
$ruby teststdin.rb
あいうえお

ENV['RUBYOPT'] =
__ENCODING__ = UTF-8
default_external = #<Encoding:Windows-31J>
default_internal = nil
locale_charmap = CP932
str.encoding = #<Encoding:Windows-31J>
��あいうえお
"\xA0\xFFあいうえお"
```

[asm]

予想外の結果にちょっと驚いています。

もしかして、ブラウザあたりからコピペで日本語を入力されていますか？
その場合頭に目には見えない空白が混じっている可能性があります

[geki]

直接コンソールに入力日本語を入力しているはずなのですがこうなってしまいます。
なぜか文頭に半角英数字をいれると制御文字らしきものが抜けるので謎が深まっています。
```
ruby teststdin.rb
kあいうえお
ENV['RUBYOPT'] =
__ENCODING__ = UTF-8
default_external = #<Encoding:Windows-31J>
default_internal = nil
locale_charmap = CP932
str.encoding = #<Encoding:Windows-31J>
kあいうえお
"kあいうえお"
```

[asm]

これは単なる興味ですが
echo あいうえお| ruby teststdin.rb
でも謎文字は混入するのでしょうか？

[geki]

echoを使うと謎文字は混入しませんでした...。
```
$echo あいうえお|ruby teststdin.rb
ENV['RUBYOPT'] =
__ENCODING__ = UTF-8
default_external = #<Encoding:Windows-31J>
default_internal = nil
locale_charmap = CP932
str.encoding = #<Encoding:Windows-31J>
あいうえお
"あいうえお"
```

[geki]

追記拝見させていただきました、ありがとうございます。全く知らなかったメソッドについて知ることができて勉強になりました。
ただサンプル通りにやってもなぜかうまくいきませんでした。
具体的にはscrubが不正バイト文字を検出せず、うまく置換してくれないことがわかりました。
いろいろ試行錯誤してみた結果以下のソースコードで多少増しに動くようになりました
```
# -*- coding: utf-8 -*-
str = gets.chomp.encode("SJIS", :invalid=>:replace, replace: '')
p str
```

実行結果は以下の通りです。
```
ruby teststdin.rb
あいうえお

"あいうえお"
```
ただ、なぜか2行入力を求めてしまうのと、漢字を入力すると不正バイト文字を検出してくれないという問題が発生しました。
もうコンソールを変えてみるかなという感じがしています。

[asm]

IMEかコマンドプロンプト(というかターミナルエミュレータ)の問題な気がしますね

ありゃ、scrubではダメでしたか

[geki]

丁寧にありがとうございました。
IMEに関してもう少し調べてみることにします。

[kororin]

私のPCでも同じことが起こっており、困っています。
rubyは2.6.3を使用しています。
gekiさんの報告にあるように"あいうえお"と入力すると、先頭に"\xA0\xFF"が挿入されますが、"いうえお"と入力すると先頭は"\xA2\xFF"となります。
"\xA0"はinvalidなのでasmさんの方法で文字を入れ替えたり削除したりすることはできるのですが、"\xA2"はvalidなコードなので、そのまま残ってしまいます。
ちなみにWSLのbashで同じコードを走らせ同じことをしてみると、そもそも入力される値が異なり問題は発生しません。
うまい解決策があるとよいのですが...

[退会済みユーザー]

To: kokorin
SOに解決策っぽいのがありましたよ
https://ja.stackoverflow.com/a/54715

[kororin]

ありがとうございます！
問題が解消しました！

Answer 2

s1 = gets.chomp
p s1
s2 = s1.encode("utf-8")
p s2
puts s2

だとどうなりますか？

Comments

[geki]

以下のような実行結果になりました
```
$ruby teststdin.rb
あいうえお

"\xA0\xFFあいうえお"
Traceback (most recent call last):
1: from teststdin.rb:4:in `<main>'
teststdin.rb:4:in `encode': "\xA0" on Windows-31J (Encoding::InvalidByteSequenceError)
```

[otn]

「あいうえお」じゃなくて、「abc」だとどうなりますか？

[geki]

以下のようになりました。
```
$ruby teststdin.rb
abc
"abc"
"abc"
abc
```

[otn]

「あいうえお」をメモ帳からコピペするとどうなりますか？

あと、
> $ruby teststdin.rb
の$が気になりますが、コマンドプロンプト(cmd.exe)からの入力では無いのでしょうか？
コマンドプロンプトに変わるツールを使っているなら、それの問題かも。

[otn]

Windows7だと大丈夫で、Windows10だと現象が出ますね。
Rubyのメーリングリストに投げてみます。

[s8_chu]

otn さん>
詳細なことはわかりませんが、他回答へのコメントに書かれているリンク先によれば、「Windows 10 で導入された新しいコンソールに起因するバグ」らしいです。
https://ja.stackoverflow.com/q/54578

[otn]

ああ、これ読んだ。すっかり忘れてました。
ありがとうございます。
MS的に既知のバグは出力に関することで、それは修正されたが、入力に関してはまだ修正されていないということですかね。