PostgreSQLのCOPYコマンドのエラー出力について

Question

PostgreSQLでCSVインポートについて質問があります。
使用しているPostgreSQLのバージョンは11です。

下記のコードでインポートを行おうと思っております。
\COPY テーブル名 FROM 'CSVファイルのフルパス' WITH CSV;

この時にCSVファイルの内容が以下の場合に、最初のエラーだけが表示されます。
001,あ,い
001,あ,い
001,あ,い, ←カンマが多い
001,あ,い
001,あい ←カンマが少ない

全てのエラーを表示することは可能なのでしょうか？
（1000行あると想定して100行にエラーがあった時に一回で確認したいため）
またエラーをファイルとして出力することは可能なのでしょうか？

Comments

[maisumakun]

なんのために「全てのエラーを表示」したいのでしょうか。

[saki_study111]

例えば1000行のCSVを取り込んだとして、100行エラーがあった場合に1行ずつ確認していくのが手間になるので、oracleのbadファイル、エラーログみたいな感じで出力できないのかなと思いまして、質問させていただきました。

[amura]

psqlの場合、エラーはstderrに出力しますので　2>nogood.logはできます。

Answer 1

全体でrollbackされないので良くないとは思いますが、

cnt=1
cat test.csv |while read ff; do
  echo "$ff" |psql testdb -c"copy hoge from stdin with csv"  2>>nogood.log
  if [ $? -ne 0 ]; then
     echo "Error[$cnt] $ff" >>nogood.log
　　　echo "$ff" >>error.csv
  fi
  (( cnt++ ))
done

Comments

[saki_study111]

ありがとうございます。
これはサーバーをlinuxを想定されているのでしょうか？

記載が漏れていましたが、
Windowsで使用しようとしています。

1行ずつループで取り込んで行くとエラーの判断はできそうですね。

[amura]

後でもしかしたらと思いましたがやはりそうでしたか、わざわざご連絡ありがとうございます。

Answer 2

全てのエラーを表示することは可能なのでしょうか？

COPYコマンドはエラーが起きるとそこで終了しますので、できません。

COPY

COPYでは、エラーが発生するとすぐに処理を停止します。

また、

エラーファイルをファイルとして出力することは可能なのでしょうか？

エラーファイルなどはありません。結果をログなどにリダイレクトすればよいかと思います。

Comments

[saki_study111]

ありがとうございます。

PostgreSQLにCSVをインポートする際に全てのエラーが出力される方法はあるのでしょうか？

[sazi]

そういったDBツールがあるかもしれませんけど、一般的なツールではDBMSのコマンドを利用しているものが殆どですね。
なので、インポートの処理を自作するしかないと思います。
postgresにはファイルをバイナリーで読むことができる関数があるので、ストアドでも可能ではあります。

[saki_study111]

ありがとうございました。
再度、検討します。