Q&A
一度に投入するボリュームじゃない気がします。分割できないのですか？ PostgreSQLから出力したものでない限り、どこか文法的に破綻する要素が含まれていたりすると面倒なので、投入データをINSERT INTO文に加工するスクリプトを起こしたりしたこともありますね。
Ubuntu18.04を使っているものです。
Postgesql 13.2にて、COPYコマンドでインポートを試みています。
1.5GBのファイルインポートはうまく行きました。
しかし、200GBのインポートでエラーが出てしまいます。
以下、コードです。
\copy テーブル名 from pass
WARNING: terminating connection because of crash of another server process
DETAIL: The postmaster has commanded this server process to roll back the current transaction and exit, because another server process exited abnormally and possibly corrupted shared memory.
HINT: In a moment you should be able to reconnect to the database and repeat your command.
不正なソケットです
このエラー後、postgresqlのファイルも消失していました。
どなたか、このエラーの解決方法について、ご教授くださいましたら幸いです。
追記
エラーログの中身です。
could not fdatasync file "0000000100000000000000A6": Input/output error
WAL writer process (PID 2214) was terminated by signal 6: Aborted
ご返信ありがとうございます。
分割できるのですが、できるなら一回でインポートしたいと思っています...
他人が使用中だと困るということであれば、深夜に実行するためのスクリプトを組むとかして、分割したものを忘れずもれなく反映できるよう、SQLファイルにて\copyメタコマンドを記述するのも手かもしれません。
回答1件
0
ベストアンサー
\copyは標準出力を使用するので、標準出力絡みでバッファオーバーなどのエラーが発生したのではないでしょうか。
ファイルをサーバーに配置し、copyコマンドで実行すればエラー回避できるのではないかと思います。
ファイルをサーバーに配置できない場合は、ファイルを分割する事でしょうね。
postgresqlのファイルも消失していました。
これは、\copyコマンドで起こるとは思えないので、独自の後処理とかによるものではなないでしょうか。
投稿2021/04/27 08:44
総合スコア25327
ご回答ありがとうございます。
ファイルをサーバーに配置するというのはどのような意味でしょうか...？
インポートしたいファイルをどこかに移せばいいのでしょうか...？
\copyはローカルのファイルの指定ができますが、copyはdbサーバーで認識できるパスにしかアクセスできません。
なのでDBサーバーから参照できるパスにファイルを置いて、copyでDBサーバーからみたパスを指定するという事です。
ご返信ありがとうございます。先程、1GBのデータでインポートを試したのですが、copyコマンドでも、\copyコマンドでも、同様のエラーが現れました。
ssdがおかしくなってしまったのでしょうか...?
なにかわかることがありましたら教えていただきたいです。
壊れているセクターなどがあるのかもしれませんね。
確かにそれが理由ならファイルサイズによって起きたり起きなかったりがあるかもしれません。
ディスクエラーが無いか確認してみて下さい。
あなたの回答
tips
プレビュー
