質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.22%

MYSQLの大量のデータをphpでテーブル間移動させたいのですが。。

解決済

回答 2

投稿

  • 評価
  • クリップ 0
  • VIEW 1,265

SugiuraY

score 231

お世話になっております
大量のデータをcsvからMYSQL(phpmyadmin)へインポートいたしました。original_tableをご覧ください。実際にはカラムが60近くあり、レコードも4万行以上に及び、今後増えていく予定です。
本tableを加工して新しいデーブルtransfer_tableに流し込みたいと考えております。
ここで、このようなテーブル移動させたい理由は以下の2つが挙げられます。

①csvの段階では一意の情報を持っていないため、transfer_tableに4colにあるように、php側の処理で一意のカラムを作り出し、新たに格納するため。

②今後、月次で同じような大量のデータをcsvでインポートしていくのですが、(例えばFEB.csv MAR.csv)追加されるcsvにはすでに過去にインポートしたレコードと重複するものが存在するため、 INSERT IGNORE INTOでPRIMARY KEY重複するものを判定して、必要なデータだけを蓄積するtransfer_tableを作ることを考えております。したがって、毎月dummyのoriginal_JAN_table,original_FEB_table,original_MAR_tableは生成されていきますが、全く重複のない最終的な目的となるテーブルはtransfer_tableとなります。csvインポートの操作では、IGNOREのように、必要にないデータを無視してくれるようなことをphpmyadmin上できないため、このような設計にしております。

従って、phpコードとしてはtransfer.phpのようなイメージとなります。

【ご質問】
ここで問題なのですが、そもそもoriginal_JAN_tableから全てのデータを取得しようとしてくるとブラウザ上、「XXXXX.XXXXX.jp では現在このリクエストを処理できません。」と表示されて、処理ができません。where 句で条件を指定すれば一部のデータは取得できたので、おそらく一気に全ての60カラム4万行のデータを配列の値に格納して取得しようとすると、このようにエラーが出てしまいます。ちなみにサーバーはロリポップレンタルサーバーです。
このように大量のデータを一気に取得して、処理することは不可能なのでしょうか?
また、これが不可能だとした場合、上記のような目的はどのように対応することが考えられるのでしょうか。

何卒、よろしくお願い申し上げます。

original_JAN_table
JAN.csvデータ
1col 2col  3col
1     A       100

transfer_table
csvデータ
1col 2col  3col  4col
1     A       100  1-A
transfer.php

$stmt = $pdo->query('SELECT * FROM original_JAN_table');
    $result = $stmt->fetchall(PDO::FETCH_ASSOC);
//ここから全ての値を出力し、phpで一意の値を作成するイメージ//

$stmt1 = $pdo->prepare('INSERT IGNORE INTO transfer_table 
(col1,col2,col3,col4) VALUES (:a,:b,:c,d:)');
  $stmt1->bindValue////省略//
  $stmt1->execute();
//phpで作成した新たな値を含む配列を重複しないようにIGNOREで最終目的のtranser_tableにINSERT INTOする//
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

0

http://php.net/manual/ja/pdostatement.fetch.php

while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
// 行単位の処理
}

で1行ずつ処理できませんか? (全行ないと一意な値が決まらない?)

そもそもロジックを噛まさなくても INSERT ~ SELECT 一発で移行できないのかしら。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2016/10/28 21:22

    ご回答ありがとうございます。
    処理をする前に、fetchをした後、ブラウザ上にprint_rすら出来ないので、値を配列に格納して取得ができていないのだと思います。

    >>そもそもロジックを噛まさなくても INSERT ~ SELECT 一発で移行できないのかしら。
    これは、サブクエリでやっちゃいましょうと言うことでしょうか?(わざわざ一旦値を出力、加工してまた入力というのをバラバラの処理とせずに)

    よろしくお願い申し上げます。

    キャンセル

  • 2016/10/28 22:18

    ええと、 fetchAll メソッドで全件配列に格納しようとすると out of memory で落ちるのが目下の問題であればfetch で1行ずつ取得して処理するのがその直接の解決法だと思います。fetchAll できて fetch できないのはおかしいのでそこを追求すべきでは?

    または多少複雑なクエリになってもphpMyAdminの画面から一回実行すれば上記の処理が完了するSQL文を書けそうなので頑張って書くのがいいのではないかと。

    キャンセル

  • 2016/10/28 23:52

    な、なるほど。理解ができました。
    お力添えを頂き、有難うございます。帰ってすぐ試します。

    キャンセル

0

とりあえずmysql_dump的なバックアップを試すところから始めたほうがよいと思いますよ
流し込みは適当なサイズに手動で分割すればなんとでもなると思いますので

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.22%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる