質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.52%

  • AWS(Amazon Web Services)

    1999questions

    Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

  • PostgreSQL

    1060questions

    PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

  • CSV

    633questions

    CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

A5:SQL Mk-2のCSVインポート作業の速度改善方法は?

解決済

回答 3

投稿

  • 評価
  • クリップ 0
  • VIEW 2,476

teracat

score 36

ローカルPCからAWS EC2インスタンスのPostgreSQLにA5:SQL Mk-2を使ってCSVをインポートしています。
現在、毎秒25レコード程度しかインポートできておりません。
全体で数千~2万レコード程度ですので、けして多い量ではありませんが完了まで時間がかかってしまいます。
速度改善する方法を探しているのですが、何かアドバイスを頂けないでしょうか?

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

checkベストアンサー

+2

A5:SQL Mk-2でのインポートが遅い理由は分かりませんが、理由として推測されるのは、大容量のCSVを一度に読み込むとメモリを圧迫したりするなどの制約があるから、完全なバルクインサートは行っていないのではないでしょうか?

何れにせよ中の人ではないので、A5:SQL Mk-2を使用したインポートの高速化については回答は出来ませんが(唯一、トランザクションの制御を行うのチェックを外してみてはどうか?くらい)、代替え案として、CSVをDBサーバーにアップロードして、copyコマンドによる取り込みとするのはどうでしょうか?

AWSのRDSのmySQLにCSVを一括入力する(EC2経由)
上記はMySQLのものですが、CSVをアップロードする部分は参考になるのではないかと思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

+1

転送の速度に問題が無い場合のであれば、インポート対象のテーブルにインデックス(PK含む)が有る場合は、できるのであれば一旦インデックスをドロップしてインポート後に、インデックスを作成すると時間が短くなる事があります。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

インポートプログラムを自作する。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.52%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 受付中

    mysql;csvファイルの読み込み

    mysqlで以下のようなcsvファイルを読み込ませたいです. 00000xx_000000x,http://・・・,,,,, 00000xx_000000x,http://・・・

  • 解決済

    mysqlで任意のレコード数のレコードを取り出すには

    mysqlで任意のレコード数のレコードを取り出すにはどうすればよいでしょうか? 例えば、顧客テーブルに職業が10種類入っているとします。この中で最もレコード数が少ない職業だけ抽出

  • 受付中

    C#でSQLしたいです。

    いつもお世話になります。  C#, Windows7, VisualStudio2013 Express, .NET4.5の組み合わせでFormアプリケーションを作っています。 

  • 受付中

    SharePoint Server内のテーブルを直接更新したい

    前提・実現したいこと 現在SPSとACCESSサービスにて簡単なワークフローシステムを構築しております。 実現したいことは、Oracleに代表されるDBに直接バッチ等でテーブル

  • 解決済

    CSVデータをSqliteに取り込む

    お世話になります。 パスワードを管理するシステムの実装が完了し、今までつけていたExcelのデータを 移行しようと思っているのですが、A5M2等のツールでインポートすればす

  • 受付中

    CSVファイルの改行コードの削除

    お世話になっております。 データの移行作業を行っているのですが、移行元データCSVに改行コードが 入っておりSQLLoaderで取り込んだ際に、ずれが起こってしまいます。 (列

  • 受付中

    postgresクエリでCRが付与されないようにする

    Dockerでpostgres:9.6.6コンテナを利用してSelect文を実行した所、得られた文字列の末尾に全てCRが付与されていました。 これらが付与されないようにする方法を知

  • 解決済

    SQL*Loaderで同一レコードのエラーを複数出す方法

    OracleのSQL*Loaderで顧客からもらった20カラム、1000行程度のCSVデータの取込を行おうとしています。 しかし、データに一意制約違反や桁あふれ等のエラーが多く、も

同じタグがついた質問を見る

  • AWS(Amazon Web Services)

    1999questions

    Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

  • PostgreSQL

    1060questions

    PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

  • CSV

    633questions

    CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。