Q&A
全て
"\x90" followed by "\x04" on Windows-31J
というエラーがでます
ちなみにですが、上の試したこと。。。のShift_JISの部分をそれぞれ変えてみました。
以下のサイトを参考にrailsでcsvファイルの読み込みを行いました。
https://ruby-rails.hatenadiary.com/entry/20141120/1416483136
書いてある通り全て行うことができましたが、読み込むファイルをutf-8以外にしたところ
invalid byte sequence in UTF-8
というエラーが出ます。どのようにすればいいでしょうか？
試したこと、
rb
1# app/models/product.rb 2 UTF8_CONVERTER = ->(field) { field.encode('utf-8', invalid: :replace, undef: :replace, replace: "") } 3 4 def self.import(file) 5 CSV.foreach(file.path, encoding: "Shift_JIS", converters: UTF8_CONVERTER, headers: true) do |row| 6... 7 8... 9 end 10 end 11
とすれば
"\xEE\x9D" from Shift_JIS to UTF-8
というエラーが出ました。
また全てのファイルがダメなわけでは無いので、特定の文字列がエラーの元になっていると予想しています。
回答3件
0
自己解決
CSVの変換がおかしかったようです。
もともとのコードでもいけましたし、文字コードに合わせて回答のように処理すればうまく処理できました。
投稿2018/11/13 00:12
総合スコア38
0
"\xEE\x9D"は、Shift_JISでは未定義領域です。
マイクロソフトの漢字コードだと、NECのPC用漢字コードをもとにしているので、このエリアには「NEC選定IBM漢字」という種類の独自漢字コードが入っています。
asmさんの回答のように、encoding:に、"Windows-31J"または"CP932"または"SJIS"を指定してください。
投稿2018/11/07 13:48
総合スコア84487
0
encoding: Encoding::CP932
だと結果が変わったりしませんか？
投稿2018/11/07 12:03
総合スコア15147
"\x90" followed by "\x04" on Windows-31J
というエラーがでます
文字コードが何かはわからないのでしょうか？
excelをcsv保存したものなのでShift_JISだと思います。
調べる方法をご存知なら教えていただきたいです。
pure ruby的には
NKF.guess IO.binread(file.path)
gem使うならcharlock_holmes
もしくは、普通にテキストエディターで読み込む
なんとなく、Excel2016以降できるようになったらしいutf8のcsvが混じってるんじゃという気がしてます
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。