質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

MySQL

MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

Q&A

1回答

427閲覧

ruby DBへデータ登録について

aws

総合スコア48

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

MySQL

MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

0グッド

0クリップ

投稿2017/08/04 13:31

編集2022/01/12 10:55

あるテーブルに約1億レコードを登録したいと考えているのですが途中で止まってしまいます。
環境としてはAWS(EC2)でRDS(Mysql)にデータを登録させています。

ruby 2.4.1
rails 5.1.2

1つ1つのデータ辺りのボリュームは小さいのですがデータは1件毎に簡単な計算を都度おこなう必要があり、その結果をDBに登録させていといった感じです。
計算を行うのにDBのデータは必要ありません。

いくつか試したのですが上手いきませんでして。。。
1件毎に登録(COMMIT)していく方法ですと50-60万レコードでプログラムが止まってしまいます。

Bulk Insertを利用して計算させた結果を10万レコード毎に登録させる方法も行ってみましたが、こちらも50-60万レコードで止まってしまいます。

EC2は t2.micro ですのでスペック不足の問題なのかなーとも思うのですが。。。

何か良い方法など御座いましたらご教授頂けると幸いです。

###追加です。
実際のソースコードがを書けないのですが内容としては以下の様な感じです。
※Bulk Insertさせているコードを記載させて頂きます。
一回10万レコードを1000回処理させるような感じです。

1000.times { Aiueo = [] 10.times{|num_1| # ここで一回目の計算処理 計算させた結果 => Kakikukeko 10000.times{|num_2| #ここで二回目の計算処理(一回目(Kakikukeko)を加えた計算) 計算させた結果 => Sasisuseso Aiueo << Model.new( Kakikukeko, Sasisuseso) } } Model.import Aiueo }

DB(Mysql)にKakikukekoとSasisusesoの計算結果を保存させています。
上記で一回辺り10万レコードを保存させて、これを1000回計算させようとしています。
※凄く単純に書いていますので何とも言えないと思うのですが。。。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kunai

2017/08/04 13:53

ソースコードをご提示いただけますか。場合によってはメモリを食いつぶすような記述がある可能性もありますので。
SVC34

2017/08/04 14:21

性能監視では問題は見当たらないのでしょうか。
aws

2017/08/04 15:16

@kunaiさん ソースコード追加させて頂きました。 実際のコードではないので参考程度となってしまうのですが。 @SVC34さん 性能監視とは何になりますでしょうか?AWSの管理画面のモニタリングで見ている限りでは特に不具合を起こしている様子は見受けられないです。(例えばCPU使用率など動かすと負荷は掛かりますが75%以上を超える事はないかなーといった感じでしょうか。)
SVC34

2017/08/05 01:12

とりあえずはCPU、メモリ、ディスクの使用率ですね。なお「止まってしまう」というのは本当にピタっと止まってしまうのか、処理が極端に遅くなってしまうのか、どちらでしょう。
aws

2017/08/09 12:59

@SVC34さん ご返信遅れまして申し訳御座いません。アラート見逃していました。 正確には極端に処理が遅くなってしまうの方になります。 AWSの管理画面で見る限りではCPUやメモリの使用率などは低いのですが、SSHでサーバに接続すると反応が極端に遅いです。 SSHで接続後にエンターキーで4-5回改行するも1改行で1-2分程度遅れて反応します。プログラムも動かない(正確には処理が遅くてほぼ止まってる?かの様な反応となります。)
guest

回答1

0

実際のコードがないので分かりませんが
t2.microだとメモリ不足かウェブサーバーのタイムアウトになってそうなので
一度に全部登録しようとせず問題なく登録できる数で登録→どこまで処理したか記録→次は続きから再開、を繰り返す。

登録できたとしてもMySQLで1億件は重すぎてまともに扱えない気がするので
少しずつ登録してる途中で利用する側も問題ないか確認しながらのほうがいいです。

投稿2017/08/04 14:06

kawax

総合スコア10377

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

aws

2017/08/04 15:51

ご回答有難う御座います。 インスタンス(t2.micro)を変更して様子をみた方がいいかもしれませんね。 対応方法有難う御座います。 現状は一気に登録はあきらめまして、途中で処理が止まっても分かりやすい所までDB登録させて、コード修正して、分かりやすいところまで動かして、コード修正してといった感じで少しずつ動かしています。 一億レコードは一部でして本当は合計4-5億レコードを考えているので、この方法だと何日かかるのか。。。 一億以上のレコードにになってくるとMysqlだと辛いかもしれないのですね。 今のうちに別のDBを考えた方が良いのかもしれないですね。正直Mysqlしか利用した事がないので色々調べてみます。mongodbなどになってくるのかな。。。 もしお勧めのDBあれば頂けると幸いです。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問