Q&A
CSVデータを一時保存せずにいっきに持ってこようとしたのでエラーが出ていました
前提・実現したいこと
FTP接続にて取得したCSVデータ(134217728 bytes)をTableに保存を行う。
発生している問題・エラーメッセージ
FTP接続にてCSVデータ(String型)の取得はできたが、
そこから先何をしていいのかわからない。
該当のソースコード
PHP
1 public function setFile() 2 { 3 setlocale(LC_ALL, 'ja_JP.UTF-8'); 4 5 Storage::disk('local')->writeStream( 6 'dm.csv', 7 Storage::disk('ftp')->readStream('sample.csv') 8 ); 9 10 $file = new SplFileObject('/storage/app/dm.csv'); //ここでエラー発生 11 $file->setFlags( 12 \SplFileObject::READ_CSV | 13 \SplFileObject::READ_AHEAD | 14 \SplFileObject::SKIP_EMPTY | 15 \SplFileObject::DROP_NEW_LINE 16 ); 17 18 foreach($file as $record) { 19 var_dump($record); 20 } 21 exit; 22 }
試したこと
上記のコードで実行。
一時的にapp配下に保存し、保存したdm.csvをSplFileObjectの処理にかけて以下のエラーが発生
RuntimeException : SplFileObject::__construct(/storage/app/sample.csv): failed to open stream: No such file or directory
補足情報（FW/ツールのバージョンなど）
Laravel5.8, Mysql
回答4件
0
期待結果になったコード
PHP
1 public function setFile() 2 { 3 setlocale(LC_ALL, 'ja_JP.UTF-8'); 4 5 Storage::disk('local')->writeStream( 6 'dm.csv', 7 Storage::disk('ftp')->readStream('sample.csv') 8 ); 9 //↑ローカルストレージへ保存① 10 11 $file = new SplFileObject(storage_path('app/dm.csv'); 12 //↑ストレージまでの絶対パスを取得② 13 $file->setFlags( 14 \SplFileObject::READ_CSV | 15 \SplFileObject::READ_AHEAD | 16 \SplFileObject::SKIP_EMPTY | 17 \SplFileObject::DROP_NEW_LINE 18 ); 19 20 foreach($file as $record) { 21 var_dump($record); 22 } 23 exit; 24 }
無事に$recordにて配列の結果を得ることができました。
引っかかった点は2点あり
・取得したCSVデータをローカルストレージに保存する方法がわからなかった(①部分)
・ローカルストレージに保存した際のパスが絶対パスでなければならない(②部分)
となります。
投稿2020/02/04 10:26
編集2020/02/04 10:29総合スコア12
0
php
1 $file = Storage::disk('ftp')->get('sample.csv'); 2 $csv = new \SplFileObject($file->getRealPath());
↓
php
1 $file = Storage::disk('ftp')->path('sample.csv'); 2 $csv = new \SplFileObject($file);
だと思う。
投稿2020/02/04 08:29
編集2020/02/04 08:37
退会済みユーザー
総合スコア0
それはエラーメッセージと無関係でしょう
わたしも途中で気づいたんですが
たぶんリモートのパスが取れるだけな気がします
0
バルクデータに変換して流し込むのが効率的だと思います。
１行ずつ流し込むとオーバーヘッドが大きすぎてバルク処理とくらべると
何百倍もおそくなると思います。
投稿2020/02/04 08:10
総合スコア116734
ただし経験則としてバルク処理も限界があるので
一度に投入するデータは1万件くらいに抑えて置くほうがよいでしょう
保存時はバルクインサートにする予定ではあります!
しかしこの序盤で詰まっている状態です...
csvのデータですから必要な行数読み込んで変換して、
バルクデータをファイルに流し込み
データは捨てて、続きを読み込む・・・
という作業の繰り返しです
JSONデータなどのように全体で一つのまとまったデータ形式
ではないのでメモリ節約は比較的かんたんです
$csvという変数の時点でエラーを吐いており、
yamabejpさんのおっしゃる箇所まで進まない感じです...
csvはファイルでもってください
一度変数に全体を読み込むのはメモリの無駄でしかありません
（べらぼうなメモリを使えるなら話は別ですが・・・）
一旦ローカルに保存して、その保存したものに対して加工を行おうと思います！
> 一旦ローカルに保存
ローカル？
サーバーのテンポラリ領域にダウンロードしておけばよいでしょう
読み直したらリモートのftpを使うってことのようですよ
あ、curlとか、外部コマンドのクローラで落とす前提じゃないのですね？
一応機能としてはcronを使い夜間バッチにてcsvのデータをDBに取り込もうとしていました...
楽天市場とかヤフーショッピングとかはバッチ結果をftpの所定パスにcsvで置いとく
みたいな感じなんでそういうのじゃないですかね？
0
ベストアンサー
発生しているエラーと、DBへの挿入の関連性がみられませんが
下記の対応でとりあえずのエラーは消えるかと思います。
バイト超過のエラーが発生。
ini_set('memory_limit', '512M');
とかでメモリの上限を上げてください。
Symfony\Component\Debug\Exception\FatalThrowableError : Call to a member function getRealPath() on string
書いてある通りなんですが、 string型にgetRealPathメソッドはありません。
$file = Storage::disk('ftp')->get('sample.csv');
この時点で、リモートからファイルの内容をテキストとして取得します。
$fileはファイルオブジェクト的ななにかではなくstringです。
$file = Storage::disk('ftp')->get('sample.csv');
ここで一旦ファイルをメモリ上に載せてしまっているのがまずい気がします。
laravelのstorageはflysystemでできているはずなのでreadStreamがある気がするので
Storage::disk('local')->writeStream( 'temp', Storage::disk('ftp')->readStream('sample.csv') );
みたいな感じで一旦ローカルにコピーしてから処理してみてはどうでしょうか
投稿2020/02/04 07:55
編集2020/02/04 08:32総合スコア5036
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2020/02/04 10:40
2020/02/04 11:01