繰り返し処理を実行時に、件数が何万件にも増えたらエラーが出た

件数が少ないときはエラーなく実行できていましたが、
何万件もの量のデータで繰り返し処理を実行したとき下記エラーが出ました。
エラーみるとCSVでエラーになっているようです。
クローズされていないみたいな内容なのですが、
table.close
が終わりに必要ということなのでしょうか？

ruby
1().each do |f|
2.
3.
4.
5#下記283行目
6table = CSV.read("data/#{uid}/#{year}/#{month}/authlog_start", encoding:"ISO-8859-1:utf-8",headers: false)
7
8/usr/share/ruby/2.0/csv.rb:1869:in `block in shift': Unclosed quoted field on line 7514. (CSV::MalformedCSVError)
9	from /usr/share/ruby/2.0/csv.rb:1776:in `loop'
10	from /usr/share/ruby/2.0/csv.rb:1776:in `shift'
11	from /usr/share/ruby/2.0/csv.rb:1718:in `each'
12	from /usr/share/ruby/2.0/csv.rb:1732:in `to_a'
13	from /usr/share/ruby/2.0/csv.rb:1732:in `read'
14	from /usr/share/ruby/2.0/csv.rb:1323:in `block in read'
15	from /usr/share/ruby/2.0/csv.rb:1266:in `open'
16	from /usr/share/ruby/2.0/csv.rb:1323:in `read'
17	from exec.rb:283:in `block (2 levels) in <main>'
18	from exec.rb:267:in `each'
19	from exec.rb:267:in `block in <main>'
20

set0gut1

2018/12/14 08:43

csvファイル7514行目にダブルクオートかなにかの囲い文字が含まれてる感じのエラーメッセージですね。7514行目付近を適度に伏せ字にして貼っていただけるとよいかと思います。

kozica

2018/12/14 08:48

おっしゃるとおりでした！！！ダブルクオートに気づきませんでした、、、本当に助かりました。本当にありがとうございます！１

set0gut1

2018/12/14 08:52

おおっと。アンサーします。

行動規範の内容に同意します

回答1件

csvファイル7514行目にダブルクオートかなにかの囲い文字が含まれてる感じのエラーメッセージです。

なおcsvで値にダブルクオート"をエスケープするには、２つ続けて""と書く…みたいな仕様があったりします。
csvファイル自体の問題なので、読み込み側ではなくcsvファイル生成側のコードを修正する感じになりそうです。
ファイルのフォーマットってかなり細かいルールがあって自力でやると高確率でバグを埋めるので、読み書きは既存のライブラリを使うと良いです。

投稿2018/12/14 08:57

set0gut1

総合スコア2413