質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

Q&A

解決済

3回答

14982閲覧

A5:SQL Mk-2のCSVインポート作業の速度改善方法は?

teracat

総合スコア44

CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

0グッド

0クリップ

投稿2017/11/02 06:39

ローカルPCからAWS EC2インスタンスのPostgreSQLにA5:SQL Mk-2を使ってCSVをインポートしています。
現在、毎秒25レコード程度しかインポートできておりません。
全体で数千~2万レコード程度ですので、けして多い量ではありませんが完了まで時間がかかってしまいます。
速度改善する方法を探しているのですが、何かアドバイスを頂けないでしょうか?

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答3

0

ベストアンサー

A5:SQL Mk-2でのインポートが遅い理由は分かりませんが、理由として推測されるのは、大容量のCSVを一度に読み込むとメモリを圧迫したりするなどの制約があるから、完全なバルクインサートは行っていないのではないでしょうか?

何れにせよ中の人ではないので、A5:SQL Mk-2を使用したインポートの高速化については回答は出来ませんが(唯一、トランザクションの制御を行うのチェックを外してみてはどうか?くらい)、代替え案として、CSVをDBサーバーにアップロードして、copyコマンドによる取り込みとするのはどうでしょうか?

AWSのRDSのmySQLにCSVを一括入力する(EC2経由)
上記はMySQLのものですが、CSVをアップロードする部分は参考になるのではないかと思います。

投稿2017/11/02 07:43

sazi

総合スコア25173

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

転送の速度に問題が無い場合のであれば、インポート対象のテーブルにインデックス(PK含む)が有る場合は、できるのであれば一旦インデックスをドロップしてインポート後に、インデックスを作成すると時間が短くなる事があります。

投稿2017/11/02 15:22

A.Ichi

総合スコア4070

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

インポートプログラムを自作する。

投稿2017/11/02 06:43

workaholist

総合スコア559

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問