質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.79%

Laravel : FTP接続で取得したCSVデータをDBへ保存する方法

解決済

回答 4

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 2,034

score 12

前提・実現したいこと

FTP接続にて取得したCSVデータ(134217728 bytes)をTableに保存を行う。

発生している問題・エラーメッセージ

FTP接続にてCSVデータ(String型)の取得はできたが、
そこから先何をしていいのかわからない。

該当のソースコード

    public function setFile()
    {
        setlocale(LC_ALL, 'ja_JP.UTF-8');

        Storage::disk('local')->writeStream(
            'dm.csv',
            Storage::disk('ftp')->readStream('sample.csv')
        );

        $file = new SplFileObject('/storage/app/dm.csv'); //ここでエラー発生
        $file->setFlags(
            \SplFileObject::READ_CSV     |
            \SplFileObject::READ_AHEAD   |
            \SplFileObject::SKIP_EMPTY   |
            \SplFileObject::DROP_NEW_LINE
        );

        foreach($file as $record) {
            var_dump($record);
        }
        exit;
    }

試したこと

上記のコードで実行。
一時的にapp配下に保存し、保存したdm.csvをSplFileObjectの処理にかけて以下のエラーが発生

RuntimeException  : SplFileObject::__construct(/storage/app/sample.csv): failed to open stream: No such file or directory

補足情報(FW/ツールのバージョンなど)

Laravel5.8, Mysql

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 4

checkベストアンサー

0

発生しているエラーと、DBへの挿入の関連性がみられませんが
下記の対応でとりあえずのエラーは消えるかと思います。

バイト超過のエラーが発生。

ini_set('memory_limit', '512M');

とかでメモリの上限を上げてください。


Symfony\Component\Debug\Exception\FatalThrowableError  : Call to a member function getRealPath() on string

書いてある通りなんですが、 string型にgetRealPathメソッドはありません。

$file = Storage::disk('ftp')->get('sample.csv');

この時点で、リモートからファイルの内容をテキストとして取得します。
$fileファイルオブジェクト的ななにかではなくstringです。


$file = Storage::disk('ftp')->get('sample.csv');


ここで一旦ファイルをメモリ上に載せてしまっているのがまずい気がします。

laravelのstorageはflysystemでできているはずなのでreadStreamがある気がするので

Storage::disk('local')->writeStream(
    'temp',
    Storage::disk('ftp')->readStream('sample.csv')
);

みたいな感じで一旦ローカルにコピーしてから処理してみてはどうでしょうか

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/02/04 18:03

    その流れでやってみてください

    キャンセル

  • 2020/02/04 18:04

    こちらはローカルにコピーをおこなった後、\SplFileObjectをかけてあげる流れになるのでしょうか?

    キャンセル

  • 2020/02/04 18:08

    その流れです

    キャンセル

0

バルクデータに変換して流し込むのが効率的だと思います。
1行ずつ流し込むとオーバーヘッドが大きすぎてバルク処理とくらべると
何百倍もおそくなると思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/02/04 17:54 編集

    あ、curlとか、外部コマンドのクローラで落とす前提じゃないのですね?

    キャンセル

  • 2020/02/04 18:02

    一応機能としてはcronを使い夜間バッチにてcsvのデータをDBに取り込もうとしていました...

    キャンセル

  • 2020/02/04 18:03

    楽天市場とかヤフーショッピングとかはバッチ結果をftpの所定パスにcsvで置いとく
    みたいな感じなんでそういうのじゃないですかね?

    キャンセル

0

        $file = Storage::disk('ftp')->get('sample.csv');
        $csv = new \SplFileObject($file->getRealPath());


        $file = Storage::disk('ftp')->path('sample.csv');
        $csv = new \SplFileObject($file);

だと思う。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/02/04 17:40

    CSVデータを一時保存せずにいっきに持ってこようとしたのでエラーが出ていました

    キャンセル

  • 2020/02/04 17:41 編集

    それはエラーメッセージと無関係でしょう

    キャンセル

  • 2020/02/04 17:45

    わたしも途中で気づいたんですが
    たぶんリモートのパスが取れるだけな気がします

    キャンセル

0

期待結果になったコード

    public function setFile()
    {
        setlocale(LC_ALL, 'ja_JP.UTF-8');

        Storage::disk('local')->writeStream(
            'dm.csv',
            Storage::disk('ftp')->readStream('sample.csv')
        );
        //↑ローカルストレージへ保存①

        $file = new SplFileObject(storage_path('app/dm.csv'); 
        //↑ストレージまでの絶対パスを取得②
        $file->setFlags(
            \SplFileObject::READ_CSV     |
            \SplFileObject::READ_AHEAD   |
            \SplFileObject::SKIP_EMPTY   |
            \SplFileObject::DROP_NEW_LINE
        );

        foreach($file as $record) {
            var_dump($record);
        }
        exit;
    }

無事に$recordにて配列の結果を得ることができました。
引っかかった点は2点あり
・取得したCSVデータをローカルストレージに保存する方法がわからなかった(①部分)
・ローカルストレージに保存した際のパスが絶対パスでなければならない(②部分)
となります。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/02/04 19:40

    ②に関しては相対パスでもおそらく問題ないのですが
    PHPの仕様でエントリポイントからの相対パスになるので
    laravelの場合はindex.phpからの相対パス、となるはずです。
    同じ階層のとかの場合は  __DIR__.'/hogehoge' とかにする必要がありますが
    まあLaravel使ってる場合は全部storage_pathとかで解決するのがいいですね

    キャンセル

  • 2020/02/04 20:01

    Laravelなのでstorage_pathで書かせてもらいました!
    pureのPHPで書く場合はアドバイスを元に実装したいと思います。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.79%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る