質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
CakePHP

CakePHPは、PHPで書かれたWebアプリケーション開発用のフレームワークです。 Ruby on Railsの考え方を多く取り入れており、Railsの高速性とPHPの機動性を兼ね備えています。 MVCやORMなどを「規約優先の考え方」で利用するため、コードを書く手間を省くことができます。 外部のライブラリに依存しないので、単体での利用が可能です。

Q&A

2回答

1053閲覧

CakePHP3.xでCSVをインポートして1300万件以上のレコードを保存する方法

sktbcbbs

総合スコア12

CakePHP

CakePHPは、PHPで書かれたWebアプリケーション開発用のフレームワークです。 Ruby on Railsの考え方を多く取り入れており、Railsの高速性とPHPの機動性を兼ね備えています。 MVCやORMなどを「規約優先の考え方」で利用するため、コードを書く手間を省くことができます。 外部のライブラリに依存しないので、単体での利用が可能です。

0グッド

1クリップ

投稿2017/10/29 13:14

編集2022/01/12 10:55

CakePHP3.xにてpostされたCSVをデータベースに保存する処理を作成しています。

全部で13,426,192レコードを保存する必要があるのですが、memory_limitを-1に設定してもメモリ不足で落ちてしまいます。

変数のスコープを小さくしたり、bulkinsertは試してみたのですがだめでした。

何か良い方法はないでしょうか?

追記

CSVをJavaScriptでParseして1行分のデータをAjaxでPOSTしてみたところいけそうな雰囲気になりましたので全件保存できるか検証中です。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

データベースが何かわかりませんが、 MySQL や PostgreSQL , Oracle 等のデータベースは、CSVファイルなどの定型テキストを直接読み込んで、データベースに登録するコマンドがあります。
大量のデータの場合、プログラムでインサート処理するのに比べて速度面でも早いので、コマンドを使う方が良いでしょう。
あらかじめ、テーブルを用意しておくとかの準備は必要ですが...

(例)
MySQL : LOAD DATA LOCAL INFILE 'データファイル.CSV' INTO TABLE テーブル名 〜 ( マニュアル: LOAD DATA INFILE 構文 )

PostgreSQL : COPY テーブル名 FROM 'データファイル.csv' 〜 ( マニュアル: COPY — ファイルとテーブルの間でデータをコピーする )

投稿2017/10/30 00:03

編集2017/10/30 00:04
CHERRY

総合スコア25171

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sktbcbbs

2017/10/30 09:49

すみません、記載を忘れていたいのですが、インポートするCSVは1777列*7568行のサイズとなっていて、CSV型でもカラム数が多すぎてインポートできないです。。。
sktbcbbs

2017/10/30 09:52

あと、カラム数が多すぎてmySQLに横持ちでは保存できないので縦持ちにして保存しようとすると1300万レコード以上になりメモリが不足します。。。
CHERRY

2017/10/30 10:14 編集

1行のデータ(1777 カラム)は、関連がある項目なのでしょうか? そうであれば、まず、データベースの正規化の設計が必要かもしれないですね。 ちなみに インポートはどのようなプログラムを書いたのでしょうか? もしかして、ファイルを全部、メモリに読み込んでから、データベースに登録しようとしていますか?
guest

0

メモリ不足になるのは、一気にすべてを読んで、一気に SQL を発行しているから、ではないでしょうか。
CSV を 1行ずつ読んで SQL 発行していけるのであれば、解消できそうな気はします。

投稿2017/10/30 10:09

tacsheaven

総合スコア13703

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sktbcbbs

2017/10/30 15:49

1行ずつも試してみたのですが、フレームワーク側で何かメモリを消費しているようで、全件保存するまえにコケてしまいました……。 追記の通り、Ajaxで試してみています。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問