質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
INSERT

INSERTとは、行を追加する、コンピュータのデータベース言語SQLにおけるデータ操作言語(DML)ステートメントの1つである

PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

SQL

SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

Q&A

解決済

1回答

2981閲覧

ruby on rails postgresqlに対してJSON形式のファイルを元にbulkinsertする方法

hiepita1

総合スコア37

INSERT

INSERTとは、行を追加する、コンピュータのデータベース言語SQLにおけるデータ操作言語(DML)ステートメントの1つである

PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

SQL

SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

0グッド

0クリップ

投稿2017/10/23 14:36

RubyOnRailsで作成したPostgresqlのTEMPTABLEに対して、JSONファイルから大量のデータ
をインサートしたいです。(何十万レコード)

この場合に、現在は以下のような実装をしています。

class controller def action   # 一時テーブルをクリエイト TmpModel.create_tmp_table # jsonのデータをopen jsondata = File.open(params[:filepath]).read # to_jsonでpostgresにコピーできるようにしたもの json = JSON.parse(jsondata).to_json TmpModel.insert_tmp_table(json) end end
class TmpModel include ActiveModel::Model class <<self def create_tmp_table ActiveRecord::Base.connection.execute CREATE TEMP TABLE tmp_table( colum1 integer, column2 integer,... ) end def insert_tmp_table ActiveRecord::Base.connection.execute("INSERT INTO tmp_table ( column1, column2,...) SELECT column1, column2,... FROM json_populate_recordset( NULL::tmp,'#{json}')"") end end
読み込ませるjsonfile [ { column1: value, column2: value, ... }, { column1: value, column2: value, ... },... ]

この場合、発行されるSQLのFROM句に、insertされるレコードがズラーっと並んでしまうので、大量データをインサートする
際に、SQLステートメントの文字数制限や、パフォーマンスの点で問題があるかと思います。
そのため、可能であればJSONを元にpostgresにbulkinsertをしたいです。

Railsでデータベースにbulkinsertをする場合、「activerecord import」のようなgemを使用することが推奨されているようですが、今回は物理テーブルではなくTEMPテーブルのため、当gemは使用できませんでした。
他にJSONファイルを元に大量データのinsertをする方法があればご教示頂きたいです。
(現在は、JSONをCSVに変換して、PostgresのCOPYコマンドでCSVを読み込ませる方法を考えていますが、可能であればJSON形式のままbulkinsertしたいです。)

よろしくお願い致します。

RubyOnRails5
Postgresql9.6

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

jsonをテキスト形式でinsertし、それをcastすることで対応しました。

投稿2017/11/27 12:28

hiepita1

総合スコア37

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問