質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.12%
INSERT

INSERTとは、行を追加する、コンピュータのデータベース言語SQLにおけるデータ操作言語(DML)ステートメントの1つである

PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

SQL

SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

解決済

ruby on rails postgresqlに対してJSON形式のファイルを元にbulkinsertする方法

hiepita1
hiepita1

総合スコア37

INSERT

INSERTとは、行を追加する、コンピュータのデータベース言語SQLにおけるデータ操作言語(DML)ステートメントの1つである

PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

SQL

SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

1回答

0リアクション

0クリップ

2553閲覧

投稿2017/10/23 14:36

RubyOnRailsで作成したPostgresqlのTEMPTABLEに対して、JSONファイルから大量のデータ
をインサートしたいです。(何十万レコード)

この場合に、現在は以下のような実装をしています。

class controller def action   # 一時テーブルをクリエイト TmpModel.create_tmp_table # jsonのデータをopen jsondata = File.open(params[:filepath]).read # to_jsonでpostgresにコピーできるようにしたもの json = JSON.parse(jsondata).to_json TmpModel.insert_tmp_table(json) end end
class TmpModel include ActiveModel::Model class <<self def create_tmp_table ActiveRecord::Base.connection.execute CREATE TEMP TABLE tmp_table( colum1 integer, column2 integer,... ) end def insert_tmp_table ActiveRecord::Base.connection.execute("INSERT INTO tmp_table ( column1, column2,...) SELECT column1, column2,... FROM json_populate_recordset( NULL::tmp,'#{json}')"") end end
読み込ませるjsonfile [ { column1: value, column2: value, ... }, { column1: value, column2: value, ... },... ]

この場合、発行されるSQLのFROM句に、insertされるレコードがズラーっと並んでしまうので、大量データをインサートする
際に、SQLステートメントの文字数制限や、パフォーマンスの点で問題があるかと思います。
そのため、可能であればJSONを元にpostgresにbulkinsertをしたいです。

Railsでデータベースにbulkinsertをする場合、「activerecord import」のようなgemを使用することが推奨されているようですが、今回は物理テーブルではなくTEMPテーブルのため、当gemは使用できませんでした。
他にJSONファイルを元に大量データのinsertをする方法があればご教示頂きたいです。
(現在は、JSONをCSVに変換して、PostgresのCOPYコマンドでCSVを読み込ませる方法を考えていますが、可能であればJSON形式のままbulkinsertしたいです。)

よろしくお願い致します。

RubyOnRails5
Postgresql9.6

以下のような質問にはリアクションをつけましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

リアクションが多い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.12%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

INSERT

INSERTとは、行を追加する、コンピュータのデータベース言語SQLにおけるデータ操作言語(DML)ステートメントの1つである

PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

SQL

SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。