🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中!

\teratail特別グッズやAmazonギフトカード最大2,000円分が当たる!/

詳細はこちら
PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

Ubuntu

Ubuntuは、Debian GNU/Linuxを基盤としたフリーのオペレーティングシステムです。

Q&A

解決済

1回答

1255閲覧

PostgreSQLにおけるインポート時間短縮について

Y_amemiya

総合スコア5

PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

Ubuntu

Ubuntuは、Debian GNU/Linuxを基盤としたフリーのオペレーティングシステムです。

0グッド

0クリップ

投稿2021/03/22 02:45

Ubuntu 18.04LTSを使っているものです。

先日、PostgreSQLにてHDDから異なるHDDへデータをインポートを行ったのですが、かなり遅く困っています。
インポートは\copyで行いました。

以下、確認したコマンドです。
pgbench -c 10 -t 100 test
starting vacuum...end.
transaction type: <builtin: TPC-B (sort of)>
scaling factor: 1
query mode: simple
number of clients: 10
number of threads: 1
number of transactions per client: 100
number of transactions actually processed: 1000/1000
latency average = 357.397 ms
tps = 27.980117 (including connections establishing)
tps = 27.983359 (excluding connections establishing)

HDDから異なるHDDへのインポートが遅くなってしまうのはどうしようもないのでしょうか?
高速化について、何かご教授願えたら幸いです。
よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

FKM

2021/03/22 03:01

そのHDDはセキュリティチェックなどを行ってませんかね? だいたいはUSBとか外付けHDDとか間に一つかましますが あと、データ行数、出力形式はどうなっていますか?
sazi

2021/03/22 03:28 編集

元のHDDに同様なインポートをした場合の時間と、それぞれのHDDのスペック、および、postgresからみたそれぞれのHDDの物理的な接続はどのようなものでしょうか?
Y_amemiya

2021/03/22 03:34

FKM様、ご質問ありがとうございます。 HDDがセキュリティチェックを行っているかの確認はできていません。(確認方法を探してます...) データ行数に関しては、COPY 14680491と表示されました。 すべてtext形式です。
Y_amemiya

2021/03/22 03:36

sazi様、ご質問ありがとうございます。 ディレクトリー変更前は10秒で終わっていたインポートが、HDDに変更後は160秒程度かかってしまいます。 両方のHDDのスペックは2TB(BUFFARO)です。
sazi

2021/03/22 03:43 編集

別なHDDのディレクトリーに変更したという事ですね。 両方のHDDは全く同じ型番という事ですか? また、物理的に同じサーバーにあるものですか?
Y_amemiya

2021/03/22 03:48

両方のHDDは異なる型番です。 また、データ元のHDDは外付けであり、インポート先のHDDは/mntにマウントしてます。 両方/mntにマウントしたほうがよいのでしょうか?
sazi

2021/03/22 03:52 編集

型番が違うのなら性能が違うのは考えられますよね。 それから、インポート先のHDDの物理的な接続も外付けですか? どのような接続をしているかも関係してきますよ。
Y_amemiya

2021/03/22 03:55

ご質問ありがとうございます。 インポート先のHDDの物理的な接続も外付けです。 初心者で詳しくないのですが、どのような接続がよいのでしょうか...? 教えていただけたら幸いです。
sazi

2021/03/22 03:56

物理構成が分かりませんから何とも。 HDDの性能が同じなら、従来の外付けと同じように接続すればとしか。
guest

回答1

0

ベストアンサー

投稿2021/03/22 03:50

編集2021/03/22 03:54
sazi

総合スコア25327

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問