Laravelで1億件のデータを整形しどのようにテーブルに入れ込むか。

Question

MySQLに1億件程度のデータを整形し入れようとしています。

今現在のデータの構成です。
①市外局番と市内局番がユニークで入っています。全権データが入っています。
。mysql> desc area_codes;
+--------------------+---------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+--------------------+---------------------+------+-----+---------+----------------+
| id | bigint(20) unsigned | NO | PRI | NULL | auto_increment |
| number_kukaku_code | varchar(255) | YES | | NULL | |
| ma | varchar(40) | YES | | NULL | |
| number | varchar(10) | YES | | NULL | |
| area_code | varchar(10) | NO | MUL | NULL | |
| city_code | varchar(10) | NO | | NULL | |
| company | varchar(30) | YES | | NULL | |
| use_flg | varchar(10) | YES | | NULL | |
| etc | varchar(50) | YES | | NULL | |
| created_at | timestamp | YES | | NULL | |
| updated_at | timestamp | YES | | NULL | |
+--------------------+---------------------+------+-----+---------+----------------+
11 rows in set (0.00 sec)

このテーブルとリレーションを組んで、次のようなテーブルを作成しまいした。こちらのテーブルに電話番号を１億レコードほど入れたいのですがえらーとなっていまいます。
②電話番号を管理するテーブルです。
--+
| Field | Type | Null | Key | Default | Extra |
+-------------------+---------------------+------+-----+---------+----------------+
| id | bigint(20) unsigned | NO | PRI | NULL | auto_increment |
| area_code | varchar(10) | NO | | NULL | |
| city_code | varchar(10) | NO | | NULL | |
| subscriber_number | varchar(10) | NO | | NULL | |
| tel | varchar(20) | NO | | NULL | |
| created_at | timestamp | YES | | NULL | |
| updated_at | timestamp | YES | | NULL | |
+-------------------+---------------------+------+-----+---------+--------------

プログラムは以下です。

public function fixnumber(Request $request){

    #$tele = new TelephoneNumber;
    $all_data = DB::table('area_codes')->get();
    $all_data = json_decode(json_encode($all_data), true);
//    $all_data = TelephoneNumber::all(); 

    foreach (array_chunk($all_data, 1000) as $key => $value) {
//        if(($key == 30000) &&($key >= 20000)){

        for ($i=0; $i < 10000; $i++) {
            $data[] = [
                 "area_code"=> $value[$key]['area_code'],
                "city_code"=> $value[$key]['city_code'],
                "subscriber_number"=> sprintf('%04d', $i),
                "tel"=> $value[$key]['area_code'].'-'.$value[$key]['city_code'].'-'.sprintf('%04d', $i),
            ];
            //if($i / 1000 ==0 || $i = 999){
            //    TelephoneNumber::insert($data);
            //    $data =[];  
            //    echo 'd';
            //}

        DB::table('telephone_numbers')->insert($data);
        //TelephoneNumber::insert($data);
        $data =[];        
        //TelephoneNumber::insert($data);
        //$data =[];       
        }
  //  }
    }

このような場合はcronを使用をするのが正解なのでしょうか？
どなたか詳しい方教えてください。

Comments

[FKM]

発されるエラーメッセージは何ですか？MYSQLに１億レコードも入れようということ自体すごい無謀だとは思いますが

[CHERRY]

どのようなエラーが、出ているのでしょうか？
エラーメッセージを質問に追記していただけないでしょうか。

[Orlofsky]

> 1億レコードほど入れたいのですがえらーとなっていまいます。
そのエラーメッセージを表示された内容をそのまま質問に追加しては？

[gomengo]

Symfony\Component\ErrorHandler\Error\FatalError
Allowed memory size of 134217728 bytes exhausted (tried to allocate 10485768 bytes)

とでます。

[gomengo]

mongodb使うか思案中

[Orlofsky]

質問にエラーメッセージを追加しなさい。

誤字が多過ぎ

Answer 1

明らかにデータ容量が多すぎなので、ループ文を回しているうちにメモリ容量がオーバーフローしてしまっています。

Allowed memory size of 134217728 bytes exhausted (tried to allocate 10485768 bytes)

いちおうphp.iniからmemory_limitを-1にすれば、メモリーのオーバーフローは防げますが、そもそもデータ量が多すぎるので、処理できる保障がありませんし、万が一入ったところで呼び出しに大変な処理となり、ほぼ確実にフリーズすると思います。

MYSQL以外のDB、次の候補はpostgreSQL、それでもまだきついと思うので、SQLServerあたりに代替した方がいいのではないかと思いますが…（このぐらいだとOracleぐらいが必要かもしれません）。