goodby/csvで取り込む際にエスケープされてしまう

Question

goodby/csvでtsvを取り込む処理を作成しています。
しかし、一部文字が混在する際に、tabを無視してしまっています。

取り込みデータ（例
2016-09-30T00:00:00+09:00 bbbb aaaaa 『並行輸入品』 2 FSZ1 販売可 JP
2016-09-30T00:00:00+09:00 cccc ddddd ビデオデッキ 1 FSZ1 販売可 JP

期待する結果
『並行輸入品』 2 がで区切られている ＝＞区切られずつながってしまう。

エラーメッセージ
at HandleExceptions->handleError('8', 'Undefined offset: 7', 'C:\xampp7\htdocs\codehacking\app\Http\Controllers\AdminUploadController.php', '200', array('columns' => array('2016-09-30T00:00:00+09:00', 'bbbb', 'aaaaa', '『並行輸入品』 2', 'FSZ1', '販売可', 'JP'))) in AdminUploadController.php line 200

この場合、どのような設定をさせると、上手く取得できますでしょうか。

           DB::table('fba_inventories')->truncate();

            $file = Input::file('fba_inventories');
            $fileName = $file->getClientOriginalName() . '_' . time();
            $move = $file->move(storage_path() . '/upload', $fileName);

            // return print $move;



            //CSVのパース
            $config = new LexerConfig();
            $config->setDelimiter("\t")
                ->setToCharset("UTF-8") // Customize file encoding. Default value is null, no converting.
                ->setFromCharset("SJIS-win") // Customize source encoding. Default value is null.
                ->setIgnoreHeaderLine(false)
                ->setEscape("\\");

            $interpreter = new Interpreter();


            $interpreter->addObserver(function (array $columns) {

//                return print  $columns[3].":".$columns[4];

                // CSVファイルを1行ずつ処理
                DB::table('fba_inventories')->insert(
                    [
//                        'id' =>'',
                        'date' => $columns[0],
                        'fnsku' => $columns[1],
                        'sku' => $columns[2],
                        'name' => $columns[3],
                        'number' => $columns[4],
                        'fc' => $columns[5],
                        'status' => $columns[6],
                        'country' => $columns[7]
                    ]
                );
            });


            $lexer = new Lexer($config);
            $lexer->parse($move, $interpreter);

            return back();

Answer 1

『並行輸入品』 2

上記の空白部分はタブではなくて半角スペース４つのようですが？
teratail投稿時に勝手に変換されちゃったのかな？？

Comments

[ocms]

ありがとうございます。
teratail投稿時に変換されてしまったようです。
実際のファイルは正しくtab区切りとなります。

よろしくお願いいたします。

[退会済みユーザー]

＞一部文字が混在する際に
一部文字とは具体的に何でしょうか？

＞->setFromCharset("SJIS-win")
とありますが、ソースデータの文字エンコーディングは本当にSJIS-winでしょうか？

[ocms]

ファイルはSJISとなります。

SJISに変更してみましたが同じ用に、tabが無視されてしまいました。
->setFromCharset("SJIS")

また、ファイルをutf-8に変更し、取り込みも変更てみましたが同様となります。
->setFromCharset("UTF-8")

[退会済みユーザー]

すでに実施済みかもしれませんが、元データの問題の箇所を、バイナリエディタで見るとどうなっているでしょうか。

[ocms]

一行だと下記となります
32 30 31 36 2D 30 39 2D 33 30 54 30 30 3A 30 30 3A 30 30 2B 30 39 3A 30 30 09 62 62 62 62 09 61 61 61 61 61 09 81 77 95 C0 8D 73 97 41 93 FC 95 69 81 78 09 32 09 46 53 5A 31 09 94 CC 94 84 89 C2 09 4A 50

該当箇所のみは以下となります。
＞『並行輸入品』 2（『と2の間は実際にはtabです。）
81 77 95 C0 8D 73 97 41 93 FC 95 69 81 78 09 32

[退会済みユーザー]

「SJIS」と一口に言ってもいろいろあります。
たとえば↓
Shift_JIS系文字一覧イメージとSJIS・MS932・CP943の違い - instant tools
http://tools.m-bsys.com/ex/sjis.php

SJISとShift_JISの違いを全部洗い出してみる - Qiita
http://qiita.com/yugo-yamamoto/items/751b084786995cd53af5

私も以前、PHPとMySQLとのやり取りでこの辺りのエンコーディングでハマりました。

それと
＞一部文字とは具体的に何でしょうか？
にご回答お願いします。
その「一部文字」が特定されていれば問題解決の糸口になるかもしれないので。

[退会済みユーザー]

Shift_JISのダメ文字 - fudist
https://sites.google.com/site/fudist/Home/grep/sjis-damemoji-jp

[ocms]

何度もありがとうございます。

＞一分文字
以下の用に　品　だけを入れても同様に下記のようなエラーが表示されます。

2016-09-30T00:00:00+09:00 bbbb aaaaa 品 2 FSZ1 販売可 JP

エラー
at HandleExceptions->handleError('8', 'Undefined offset: 7', 'C:\xampp7\htdocs\codehacking\app\Http\Controllers\AdminUploadController.php', '200', array('columns' => array('2016-09-30T00:00:00+09:00', 'bbbb', 'aaaaa', '品 2', 'FSZ1', '販売可', 'JP'))) in AdminUploadController.php line 200

SJISにも色々あるのですね。こちらも合わせて確認を致します！

[退会済みユーザー]

AdminUploadController.php line 200とのことですが、この200行目というのは質問文のソースで言うとどの部分が該当しますでしょうか？

[ocms]

冒頭のソースコードの下記が200行目に該当いたします。

'country' => $columns[7]

[退会済みユーザー]

今回の「タブ区切りが上手くできない」というお悩みと、質問文に掲載されたエラーメッセージは直接関係のない別問題の可能性がありますね。

原因を切り分けてシンプルにするため、まずはエラーとなっている現象を解決したほうがいいと思います。AdminUploadController.phpの200行目に存在するコードを修正してエラーを無くしてください。また、'Undefined offset: 7'という表示も気になりますね。

[退会済みユーザー]

あ、私はてっきりタブ区切りが出来ないので、カラム数が１減ってオフセットが６までとなり、それで７番目のカラムを読もうとしてエラーになっているのだと解釈していました。

[退会済みユーザー]

＞-o.o-さん
その可能性も考えたのですが、そうだとしたら
$lexer->parse($move, $interpreter);
の行でエラーが発生するのではないでしょうか？
200行目の時点ではまだデリミタがタブかどうかは伝わっていないので。

[退会済みユーザー]

私もエラー発生のトリガは最後にparseする時点だと思いますが、出てくるメッセージとしてはそうなのかなと思っていました。ちょうどcsvファイルの読み込みを作っているところなので、実験してみます。

[退会済みユーザー]

わざとカラムの足りないTSVファイルを用意して実験してみました。
５カラムあるTSVファイルの途中の行を２カラムにして読み込ませました。
すると、エラーは最後のparseするところで発生しました。またそのときweb画面上に出たメッセージは以下のようなものでした。

Whoops, looks like something went wrong.
1/1 StrictViolationException in Interpreter.php line 115:
Column size should be 5, but 2 columns given

上のほうでいい加減なコメントしてすみませんでした。
また、別途「品」という漢字を混ぜたデータで実験してみましたが、こちらは何の影響もありませんでした。

用意したTSVファイルはWindowsで作成したShift-JISです。
ただサーバ環境が違うので、ここまででいったんレポートさせていただきました。

＜実験環境＞
CentOS 7.2.1511
PHP 7.0.11
nginx 1.10.1
laravel 5.3.16
goodby/csv 1.3.0

[退会済みユーザー]

連投すみません。完全に同じではありませんが、
$config->setFromCharset("SJIS-win")
この記述を入れた状態で、データ中に「品」が混ざっていると、文字化けし、
私の環境では、「蜩」という漢字になりました。
このメソッドを除外すると問題ありません。
※ひとつ上のコメントを書いたときは、このメソッドを入れ忘れて実験していました。また、私は画面表示するとき、mb_convert_encoding($hoge, "UTF-8", "SJIS") を使っています。