rubyで文字コードエラー？になる

Question

下記にようにファイルの中身を並べから別ファイルに保存するようにしました。
サンプルファイルではうまいってたのですが、本番ファイルですると
下記一番最後のようなエラーが出てきました。

原因はファイル内のテキストに下記のような記述が含まれているからのようです。
,(̤¸¡½Ð),
上記までの処理はうまくいきこの文字の行でエラーが出ているので原因は間違いなくここかと思います。

しかし、これをどうすればエラーがなくなるかわかりません。
力を貸してほしいです

File.open("csv/var/log/authlog") do |file|
  File.open("dl/authlog","a") do |f|
     file.each_line do |line|
        p line
        row = line.split(",")
        if row.size > 15
            puts [row[0],"",row.last,"","",row[10],"","",row[8],"",row[9],row[3]+"/"+row[4],row[6],row[7],"","",row[12],"",row[13]+","+row[14],"","",row[5],row[11],"","","","","","",""].join(",")
        else
            puts [row[0],"",row.last,"","",row[10],"","",row[8],"",row[9],row[3]+"/"+row[4],row[6],row[7],"","",row[12],"",row[13],"","",row[5],row[11],"","","","","","",""].join(",")
        end
     end
  end
end

layout_ch.rb:24:in `split': invalid byte sequence in UTF-8 (ArgumentError)

Answer 1

"csv/var/log/authlog"のファイルの中に、UTF-8としては不正な文字が入っているためです。
原因としては、そのファイルの中味のエンコーディングがUTF-8でない、または、UTF-8ファイルへの不正な文字の混入のどちらかです。エンコーディングはUTF-8で間違いないでしょうか？

UTF-8と違う場合、正しいエンコーディングでopenする。
例：File.open("csv/var/log/authlog","r",encoding: "ISO-8859-1:utf-8")

UTF-8で合っている場合、不正な文字を置換する。
例：row = line.scrub.split(",")

Comments

[kozica]

otnさんいつもありがとうございます。
以前はシェルの方でこのエラー解決をして頂きましたが、rubyでどうするのがベストかわからず質問いたしました。
each_lineで１行１行"line.encoding"で確認していくと、全部UTF-8となっていたので、提案して頂いた下のほうで実行しうまく動きました！
わかりやすい回答ありがとうございます。

[otn]

> each_lineで１行１行"line.encoding"で確認していくと、全部UTF-8となっていたので、

いや、それはRuby側でUTF-8と見なしているのでUTF-8と表示されるのは当たり前です。
ファイルの中味を直接見ないとエンコーディングは分かりません。

[otn]

文字コードの自動判別機能を持ったエディタでひらくか、nkf --guess で調べるか、など。

[asm]

他アプリケーション/スクリプトとの連携を考える場合
ファイルを開く際にencoding指定をしないというのは私はとても怖いです。(Ruby界隈に蔓延ってるんですけどね)
主にWindowsで動かそうとした際にハマります。

[otn]

そうですね。自分で調べる方法を書きましたが、入力ファイルのエンコーディングが何であるかは本来はシステム仕様に含まれていないとおかしい。