MYSQLの大量のデータをphpでテーブル間移動させたいのですが。。

Question

お世話になっております
大量のデータをcsvからMYSQL(phpmyadmin)へインポートいたしました。original_tableをご覧ください。実際にはカラムが60近くあり、レコードも4万行以上に及び、今後増えていく予定です。
本tableを加工して新しいデーブルtransfer_tableに流し込みたいと考えております。
ここで、このようなテーブル移動させたい理由は以下の2つが挙げられます。

①csvの段階では一意の情報を持っていないため、transfer_tableに4colにあるように、php側の処理で一意のカラムを作り出し、新たに格納するため。

②今後、月次で同じような大量のデータをcsvでインポートしていくのですが、（例えばFEB.csv MAR.csv)追加されるcsvにはすでに過去にインポートしたレコードと重複するものが存在するため、 INSERT IGNORE INTOでPRIMARY KEY重複するものを判定して、必要なデータだけを蓄積するtransfer_tableを作ることを考えております。したがって、毎月dummyのoriginal_JAN_table,original_FEB_table,original_MAR_tableは生成されていきますが、全く重複のない最終的な目的となるテーブルはtransfer_tableとなります。csvインポートの操作では、IGNOREのように、必要にないデータを無視してくれるようなことをphpmyadmin上できないため、このような設計にしております。

従って、phpコードとしてはtransfer.phpのようなイメージとなります。

【ご質問】
ここで問題なのですが、そもそもoriginal_JAN_tableから全てのデータを取得しようとしてくるとブラウザ上、「XXXXX.XXXXX.jp では現在このリクエストを処理できません。」と表示されて、処理ができません。where 句で条件を指定すれば一部のデータは取得できたので、おそらく一気に全ての60カラム4万行のデータを配列の値に格納して取得しようとすると、このようにエラーが出てしまいます。ちなみにサーバーはロリポップレンタルサーバーです。
このように大量のデータを一気に取得して、処理することは不可能なのでしょうか？
また、これが不可能だとした場合、上記のような目的はどのように対応することが考えられるのでしょうか。

何卒、よろしくお願い申し上げます。

original_JAN_table
JAN.csvデータ
1col 2col  3col
1     A       100

transfer_table
csvデータ
1col 2col  3col  4col
1     A       100  1-A

transfer.php

$stmt = $pdo->query('SELECT * FROM original_JAN_table');
    $result = $stmt->fetchall(PDO::FETCH_ASSOC);
//ここから全ての値を出力し、phpで一意の値を作成するイメージ//

$stmt1 = $pdo->prepare('INSERT IGNORE INTO transfer_table 
(col1,col2,col3,col4) VALUES (:a,:b,:c,d:)');
  $stmt1->bindValue////省略//
  $stmt1->execute();
//phpで作成した新たな値を含む配列を重複しないようにIGNOREで最終目的のtranser_tableにINSERT INTOする//

Answer 1

とりあえずmysql_dump的なバックアップを試すところから始めたほうがよいと思いますよ
流し込みは適当なサイズに手動で分割すればなんとでもなると思いますので

Answer 2

http://php.net/manual/ja/pdostatement.fetch.php

while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
// 行単位の処理
}

で1行ずつ処理できませんか？ （全行ないと一意な値が決まらない？）

そもそもロジックを噛まさなくても INSERT ～ SELECT 一発で移行できないのかしら。

Comments

[SugiuraY]

ご回答ありがとうございます。
処理をする前に、fetchをした後、ブラウザ上にprint_rすら出来ないので、値を配列に格納して取得ができていないのだと思います。

>>そもそもロジックを噛まさなくても INSERT ～ SELECT 一発で移行できないのかしら。
これは、サブクエリでやっちゃいましょうと言うことでしょうか？（わざわざ一旦値を出力、加工してまた入力というのをバラバラの処理とせずに）

よろしくお願い申し上げます。

[timy]

ええと、 fetchAll メソッドで全件配列に格納しようとすると out of memory で落ちるのが目下の問題であればfetch で1行ずつ取得して処理するのがその直接の解決法だと思います。fetchAll できて fetch できないのはおかしいのでそこを追求すべきでは？

または多少複雑なクエリになってもphpMyAdminの画面から一回実行すれば上記の処理が完了するSQL文を書けそうなので頑張って書くのがいいのではないかと。

[SugiuraY]

な、なるほど。理解ができました。
お力添えを頂き、有難うございます。帰ってすぐ試します。