質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.83%

ruby DBへデータ登録について

受付中

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 779

aws

score 43

あるテーブルに約1億レコードを登録したいと考えているのですが途中で止まってしまいます。
環境としてはAWS(EC2)でRDS(Mysql)にデータを登録させています。

ruby 2.4.1
rails 5.1.2

1つ1つのデータ辺りのボリュームは小さいのですがデータは1件毎に簡単な計算を都度おこなう必要があり、その結果をDBに登録させていといった感じです。
計算を行うのにDBのデータは必要ありません。

いくつか試したのですが上手いきませんでして。。。
1件毎に登録(COMMIT)していく方法ですと50-60万レコードでプログラムが止まってしまいます。

Bulk Insertを利用して計算させた結果を10万レコード毎に登録させる方法も行ってみましたが、こちらも50-60万レコードで止まってしまいます。

EC2は    t2.micro ですのでスペック不足の問題なのかなーとも思うのですが。。。

何か良い方法など御座いましたらご教授頂けると幸いです。

追加です。

実際のソースコードがを書けないのですが内容としては以下の様な感じです。
※Bulk Insertさせているコードを記載させて頂きます。
一回10万レコードを1000回処理させるような感じです。

1000.times {
    Aiueo = []
      10.times{|num_1|
        # ここで一回目の計算処理
        計算させた結果 => Kakikukeko

        10000.times{|num_2|
         #ここで二回目の計算処理(一回目(Kakikukeko)を加えた計算)
         計算させた結果 => Sasisuseso
          Aiueo << Model.new( Kakikukeko, Sasisuseso)

        }
      }
      Model.import Aiueo
}

DB(Mysql)にKakikukekoとSasisusesoの計算結果を保存させています。
上記で一回辺り10万レコードを保存させて、これを1000回計算させようとしています。
※凄く単純に書いていますので何とも言えないと思うのですが。。。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • aws

    2017/08/05 00:16

    @kunaiさん ソースコード追加させて頂きました。 実際のコードではないので参考程度となってしまうのですが。 @SVC34さん 性能監視とは何になりますでしょうか?AWSの管理画面のモニタリングで見ている限りでは特に不具合を起こしている様子は見受けられないです。(例えばCPU使用率など動かすと負荷は掛かりますが75%以上を超える事はないかなーといった感じでしょうか。)

    キャンセル

  • SVC34

    2017/08/05 10:12

    とりあえずはCPU、メモリ、ディスクの使用率ですね。なお「止まってしまう」というのは本当にピタっと止まってしまうのか、処理が極端に遅くなってしまうのか、どちらでしょう。

    キャンセル

  • aws

    2017/08/09 21:59

    @SVC34さん ご返信遅れまして申し訳御座いません。アラート見逃していました。 正確には極端に処理が遅くなってしまうの方になります。 AWSの管理画面で見る限りではCPUやメモリの使用率などは低いのですが、SSHでサーバに接続すると反応が極端に遅いです。 SSHで接続後にエンターキーで4-5回改行するも1改行で1-2分程度遅れて反応します。プログラムも動かない(正確には処理が遅くてほぼ止まってる?かの様な反応となります。)

    キャンセル

回答 1

0

実際のコードがないので分かりませんが
t2.microだとメモリ不足かウェブサーバーのタイムアウトになってそうなので
一度に全部登録しようとせず問題なく登録できる数で登録→どこまで処理したか記録→次は続きから再開、を繰り返す。

登録できたとしてもMySQLで1億件は重すぎてまともに扱えない気がするので
少しずつ登録してる途中で利用する側も問題ないか確認しながらのほうがいいです。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/08/05 00:51

    ご回答有難う御座います。

    インスタンス(t2.micro)を変更して様子をみた方がいいかもしれませんね。

    対応方法有難う御座います。
    現状は一気に登録はあきらめまして、途中で処理が止まっても分かりやすい所までDB登録させて、コード修正して、分かりやすいところまで動かして、コード修正してといった感じで少しずつ動かしています。

    一億レコードは一部でして本当は合計4-5億レコードを考えているので、この方法だと何日かかるのか。。。

    一億以上のレコードにになってくるとMysqlだと辛いかもしれないのですね。
    今のうちに別のDBを考えた方が良いのかもしれないですね。正直Mysqlしか利用した事がないので色々調べてみます。mongodbなどになってくるのかな。。。
    もしお勧めのDBあれば頂けると幸いです。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.83%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る