rubyでcsvファイルをインポートして一括でユーザー登録したい。

Question

前提・実現したいこと

rubyでcsvファイルをインポートして一括でユーザー登録したいです

csvついてどうしても分からず質問致します。申し訳ないのですがご教授頂けないでしょうか。。

初めてcsvインポートを実装と言う事で以下のサイトを参考に全く同じコードを記述しました。
参考文献

googleスプレットシートからcsvファイルを作成し、indexページからファイルを選択し、インポートしようとした際に以下のエラーが出ます。

発生している問題・エラーメッセージ

Invalid byte sequence in UTF-8 in line 1.

該当のソースコード

index.html.erb


<h1>ユーザー一覧</h1>

<table>
  <thead>
    <tr>
      <th>ID</th>
      <th>名前</th>
      <th>年齢</th>
    </tr>
  </thead>

  <tbody>
    <% @users.each do |user| %>
      <tr>
        <td><%= user.id %></td>
        <td><%= user.name %></td>
        <td><%= user.age %></td>
      </tr>
    <% end %>
  </tbody>
</table>

<%= form_tag import_users_path, multipart: true do %>
  <%= file_field_tag :file %>
  <%= submit_tag "インポート" %>
<% end %>

class UsersController < ApplicationController
    
  def index
    @users = User.all
  end
  
  def import
    # fileはtmpに自動で一時保存される
    User.import(params[:file])
    redirect_to users_url
  end
end

class User < ApplicationRecord
    
    require  'csv'

  def self.import(file)
    CSV.foreach(file.path, headers: true, ) do |row|
      # IDが見つかれば、レコードを呼び出し、見つかれなければ、新しく作成
      user = find_by(id: row["id"]) || new
      # CSVからデータを取得し、設定する
      user.attributes = row.to_hash.slice(*updatable_attributes)
      # 保存する
      user.save
    end
  end

  # 更新を許可するカラムを定義
  def self.updatable_attributes
    ["id", "name", "age"]
  end
end

application.rb

require_relative 'boot'

require 'rails/all'
require 'csv'

試したこと

文字コードを変更する際にエラーが出ている。変換の仕方に問題があるとなんとなく検索して原因は分かったのですが(違っていたらすいません)どのように記述すれば変換がうまく行くのか分かりません。

CSV.foreach(file.path, headers: true, ) do |row|
⬇︎
CSV.table(file.path, headers: true, encoding: "SJIS:UTF-8") do |row|

検索した結果　csvはshift-jisで設定すれば上手く行くと書いてあったので
encoding: "SJIS:UTF-8"と付け加えてみましたが改善されませんでした、、

大変申し訳ありませんが何かアドバイス頂けないでしょうか、、汗

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[KazuSaka]

"SJIS:UTF-8" ➡︎ 'Shift_JIS:UTF-8'
に変更したらどうですか？
スプレッドシートで作ったcsvは文字化けしてませんか？メモ帳等で開いた時。

[jun3030]

遅い時間帯にも関わらず回答ありがとうございます！汗

'Shift_JIS:UTF-8'に変更したところ
"\x99" followed by "\x10" on Shift_JIS
とエラーが返ってきました汗

メモ帳で読み込んだところ、
id,name,age
2,test,10
このように返ってきました。これは問題は特にないという事ですかね。。

[KazuSaka]

CSVの内容は良いと思います。
メモ帳の「名前を付けて保存」を開いて、文字コード確認できますでしょうか？

質問者さんが参考にされたページ通りに実装したら、私の環境では正常動作しました。
グーグルスプレッドシートでCSV作成・ダウンロードしましたが、文字コードはUTF-8で作成されてました。

[jun3030]

わざわざ試して下さったんですね、、汗
すいません。文字コードの確認とはどういったものでしょうか。。
タイトルの最後の形式の事でしょうか？汗
タイトル：testtest.csv - シート1 (5).csv

出来たということは私の記述の仕方の何処かが間違っているという事ですね。
コピペで全て貼り付けてやったので怪しいのはcsvファイルの作り方に問題でもあるのかと思っていたのですが汗

[KazuSaka]

名前をつけて保存ダイアログを開くと、文字コードの選択項目があるので、そこで文字コードの判断ができます。
https://snow-white.cocolog-nifty.com/photos/uncategorized/20190529_a01.png

[jun3030]

時間がかかってしまいすいません汗
macを使っているのですが、元々入っているメモアプリとテキストエディットというアプリでは名前をつけて保存が出来ないみたいで手間取ってます。
必要なら別のアプリを探して確認してみます！

[KazuSaka]

勝手にWindowsだと思い込んでました…
すいません。
CSVの文字コードがUTF-8でしたら、いいと思うんですが….

[jun3030]

なんとか確認出来ました。遅くなってすいません！汗

file:///Users/matsumotoshun/Desktop/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88%202019-12-28%202.55.40.png

画像みれますでしょうか汗
標準テキストのエンコーディング: Unicode(UTF-8)になっていました！

[KazuSaka]

アップしてもらった画像が見えません.
ローカルのURLっぽいですが
fileではじまってるので…

[KazuSaka]

でしたら、問題なさそうですね！
私的にはギブアップです????
何か気づいたら、連絡します！
ちなみに、rubyとrailsのバージョンは？

[jun3030]

https://sukusho.nu/8u02/

[jun3030]

すいません。なんとかスクショを送ろうと頑張っているのですが、、

Rails version: 5.1.7
Ruby version: 2.6.3 (x86_64-linux)
遅くまで本当にすいません！汗
ここまで考えてくださっただけでも感謝しかありません！
kazuさんは参考文献通りにしたら出来たので、何かおかしいところがないか探ってみます。

[KazuSaka]

ソースと異なるところが2点ありましたので、一応伝えときます。動作には問題無さそうです。
user.rb内のrequire 'csv'は不要です。
user.rb内のCSV.foreach(file.path, headers: true, )のtrueの後のカンマは不要です。

[jun3030]

ご指摘ありがとうございます！

今日別のパソコン(windows)でスプレットシートからcsvファイルを作りインポートしたところあっさり出来ました。

どうやらcsvファイルの方に問題があったみたいです、、
拡張子を確認したところ両方csvになってますし何故なんでしょうね、、汗

[KazuSaka]

そうなんですね！
解決してよかったです！

Answer 1

とりあえずはCSVの問題というより 文字コードをなんとか　ということですね。
CSVがUTF-8でできていれば問題なさそうですが、グーグルスプレッドシートでCSV作成・ダウンロードしたところKazuSakaさんとことなり shif-jisでした。
どこか設定があるのか、、、みつからなかった。
で、
shft-jisなCSVをどう扱うか。いくつかやり方はあります

1. "SJIS:UTF-8" でなく "Windows-31J:UTF-8" で試してください
2. CSV.parse(NKF.nkf("-w",(File.read(file.path)))).each{|row|
3. nkf があれば　予め　nkf -w sjis_csvfile > utf_csvfile しておく
4. LibreOfficeで読んでUTF-8 な　CSVで書き出す

Comments

[jun3030]

回答して下さりありがとうございます！
1) "SJIS:UTF-8" でなく "Windows-31J:UTF-8" で試したところmacでも無事にインポートすることができました！
他はまだ試せてはいませんが、今後万が一①の方法で出来なければ、違う方法も試してみたいと思います！

回答して下さったお二人には本当に感謝しかないです汗
今後も精進して参ります！

[winterboum]

良かったです。
ったくMicrosoftには泣かされます。