Q&A
解決済
3回答
18200閲覧
総合スコア44
CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。
PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。
Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。
0グッド
0クリップ
投稿2017/11/02 06:39
0
ローカルPCからAWS EC2インスタンスのPostgreSQLにA5:SQL Mk-2を使ってCSVをインポートしています。 現在、毎秒25レコード程度しかインポートできておりません。 全体で数千~2万レコード程度ですので、けして多い量ではありませんが完了まで時間がかかってしまいます。 速度改善する方法を探しているのですが、何かアドバイスを頂けないでしょうか?
気になる質問をクリップする
クリップした質問は、後からいつでもMYページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
質問へのコメント
回答3件
ベストアンサー
A5:SQL Mk-2でのインポートが遅い理由は分かりませんが、理由として推測されるのは、大容量のCSVを一度に読み込むとメモリを圧迫したりするなどの制約があるから、完全なバルクインサートは行っていないのではないでしょうか?
何れにせよ中の人ではないので、A5:SQL Mk-2を使用したインポートの高速化については回答は出来ませんが(唯一、トランザクションの制御を行うのチェックを外してみてはどうか?くらい)、代替え案として、CSVをDBサーバーにアップロードして、copyコマンドによる取り込みとするのはどうでしょうか?
AWSのRDSのmySQLにCSVを一括入力する(EC2経由) 上記はMySQLのものですが、CSVをアップロードする部分は参考になるのではないかと思います。
投稿2017/11/02 07:43
総合スコア25430
転送の速度に問題が無い場合のであれば、インポート対象のテーブルにインデックス(PK含む)が有る場合は、できるのであれば一旦インデックスをドロップしてインポート後に、インデックスを作成すると時間が短くなる事があります。
投稿2017/11/02 15:22
総合スコア4070
インポートプログラムを自作する。
投稿2017/11/02 06:43
総合スコア559
あなたの回答
tips
太字
斜体
打ち消し線
見出し
引用テキストの挿入
コードの挿入
リンクの挿入
リストの挿入
番号リストの挿入
表の挿入
水平線の挿入
プレビュー
15分調べてもわからないことはteratailで質問しよう!
ただいまの回答率85.29%
質問をまとめることで思考を整理して素早く解決
テンプレート機能で簡単に質問をまとめる
A5:SQL Mk-2のCSVインポート作業の速度改善方法は?
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。