【PostgreSQL】Shift-JISのCSVファイルをＣOPYコマンドでインサートする方法が上手くいかないです

Question

前提

VBAでCSVファイルを出力するマクロを作っています。
CSVファイルはPostgreSQLの社員マスタにインポートできるように形式を調整して作成します。下記URLを参考にして作成しました。
・【超簡単】ワンタッチでエクセルからCSV出力するVBAプログラム
・PostgreSQLでCSVファイルをインポート／エクスポートする方法

該当のソースコード

社員マスタのテーブルです。文字数制限のため一部省略しますが、文字型は全てcharacterです。

CREATE TABLE public."t_社員マスタ" (
    "社員番号" character(8) NOT NULL,
    "氏名" character(16),
    "氏名カナ" character(24),
    "所属コード" character(3),
    "所属" character(30),
    "支社コード" character(3),
    "支社" character(20),
    "役職名" character(30),
);
ALTER TABLE ONLY public."t_社員マスタ"
    ADD CONSTRAINT "pk_t_社員マスタ" PRIMARY KEY ("社員番号");

全てのセル値を「""」で囲んでCSV出力するコードです。

Public Sub writeCSV()
    Dim ws As Worksheet
    Dim maxrow As Long
    Dim fileNo As Integer
    Dim wrow As Long
    Dim wcol As Long
    Dim i As Long
    Dim val As String
    Dim out_line As String
    Const stCol = 1
    Const enCol = 144
    Dim arrVal(enCol - stCol) As String
    Set ws = Worksheets("Sheet1")
    maxrow = ws.Cells(Rows.Count, 1).End(xlUp).Row
    fileNo = FreeFile
    
    ' ワークシートに出力している間の画面更新を停止
    Application.ScreenUpdating = False
    
    ' ----------------------------
    ' ファイルの出力処理
    ' ----------------------------
    Dim myFileName, fileName, fileDateNm As String
    
    ' ファイル名を作成する
    fileDateNm = Replace(CStr(Date), "/", "")
    fileName = "UpdateMaster_" & fileDateNm
    ' ダイアログ表示
    myFileName = Application.GetSaveAsFilename(InitialFileName:=fileName, FileFilter:="CSV ﾌｧｲﾙ (*.csv),*.csv")
    ' キャンセルなら終了
    If myFileName = "False" Then
        Exit Sub
    End If
    
    ' 保存
    Open myFileName For Output As #fileNo
     For wrow = 3 To maxrow
         i = 0
         For wcol = stCol To enCol
            ' 1データ取得
            val = ws.Cells(wrow, wcol).Value
            ' データをダブルクオートでくくり、配列へ格納
            arrVal(i) = wrap_data(val)
            i = i + 1
         Next
         ' カンマで連結
         out_line = Join(arrVal, ",")
         Print #fileNo, out_line
     Next
    Close #fileNo
    
    MsgBox ("CSVファイルを「Shift_JIS」で出力しました。レコード部分のみ出力しています。")
    
    ' 画面更新を元に戻す
    Application.ScreenUpdating = True
End Sub

' 入力文字列をダブルクオートでくくる
Private Function wrap_data(ByVal val As String) As String
    wrap_data = """" & val & """"
End Function

CSVファイルをインサートするCOPYコマンドです。

COPY t_社員マスタ from '/public/csv/UpdateMaster_20230221.csv' ;

実現したいこと

社員マスタで主キー制約が機能しているか確認するため、社員番号が重複しているレコードをCOPYで実行してエラーが発生させるのが目的です。

発生している問題

CSVファイルは問題なく出力されますが、COPYコマンド実行時、以下の構文エラーが発生しました。

COPY t_社員マスタ from '/public/csv/UpdateMaster_20230221.csv'
ERROR:  符号化方式"UTF8"で無効なバイトシーケンスです: 0x8d
CONTEXT:  t_社員マスタのCOPY。行番号 1

試したこと

CSVファイルをテキストエディタ(NewQX)で確認したところ文字化けは特に発生していません。encodingを指定すると正しく実行されると参考サイトに書かれていたので、修正して再度実行しましたが、以下のように構文エラーが発生しました。

COPY t_社員マスタ from '/public/csv/UpdateMaster_20230221.csv' with encoding 'sjis' csv
ERROR:  "encoding"またはその近辺で構文エラー
LINE 1: ...from '/public/csv/UpdateMaster_20230221.csv' with encoding '...

レコード重複した場合のエラーメッセージがどういうものか分かっていないのですが、これは明らかにそれ以前の原因のエラーだとは思います。
どこかで表記ミスしているのか、アドバイスいただけると幸いです。
よろしくお願いいたします。

補足情報（FW/ツールのバージョンなど）

PC：Windows11
Excelのバージョン：Microsoft365 Excel
PostgreSQLのバージョン：9.0.1
PSqlEditのバージョン：5.2.3.9

Comments

[m.ts10806]

UTF8でCSVを生成すれば良いのでは。

[koburon]

>m.ts10806様
CSVをexcelの「名前を付けて保存」⇒「CSV UTF-8(コンマ区切り)」で保存し、この状態をCSVでCOPYしましたが、以下のようなエラーが発生しました。

ERROR: 値は型character(8)としては長すぎます
CONTEXT: t_社員マスタ_マクロテストのCOPY。行番号 1。列 社員番号: "'11111','〇〇〇〇','..."

社員番号と氏名で区切りが出来ておらず長い値になってしまっているということでしょうか？

[tatsu99]

9.0.1ではencodingはサポートされてないようですね。9.1.5ならサポートされています。
以下、https://www.postgresql.jp/document/　からの抜粋です。
9.0.1
名前
COPY -- ファイルとテーブルの間でデータをコピーする
概要
COPY table_name [ ( column [, ...] ) ]
FROM { 'filename' | STDIN }
[ [ WITH ] ( option [, ...] ) ]

COPY { table_name [ ( column [, ...] ) ] | ( query ) }
TO { 'filename' | STDOUT }
[ [ WITH ] ( option [, ...] ) ]

ここでoptionは以下のいずれかです。

FORMAT format_name
OIDS [ boolean ]
DELIMITER 'delimiter_character'
NULL 'null_string'
HEADER [ boolean ]
QUOTE 'quote_character'
ESCAPE 'escape_character'
FORCE_QUOTE { ( column [, ...] ) | * }
FORCE_NOT_NULL ( column [, ...] )

9.1.5
名前
COPY -- ファイルとテーブルの間でデータをコピーする
概要
COPY table_name [ ( column [, ...] ) ]
FROM { 'filename' | STDIN }
[ [ WITH ] ( option [, ...] ) ]

COPY { table_name [ ( column [, ...] ) ] | ( query ) }
TO { 'filename' | STDOUT }
[ [ WITH ] ( option [, ...] ) ]

ここでoptionは以下のいずれかです。

FORMAT format_name
OIDS [ boolean ]
DELIMITER 'delimiter_character'
NULL 'null_string'
HEADER [ boolean ]
QUOTE 'quote_character'
ESCAPE 'escape_character'
FORCE_QUOTE { ( column [, ...] ) | * }
FORCE_NOT_NULL ( column [, ...] ) |
ENCODING 'encoding_name'

よって、CSVファイルをUTF8形式で作成するしかないかと思います。
（postgresqlのバージョンを変えられるなら話は別ですが）

[koburon]

>tatsu99様
詳しいオプションを記入いただきありがとうございます。
UTF8形式で保存して、「WITH CSV DELIMITER ',';」を指定したところ、
--------------------------------------------------------------------------------
COPY t_社員マスタ_マクロテスト from '/public/csv/UpdateMaster_20230221.csv'WITH CSV DELIMITER ','
ERROR: 重複キーが一意性制約"pk_t_社員マスタ_マクロテスト"に違反しています
DETAIL: キー ("社員番号")=(11111 ) はすでに存在します
CONTEXT: t_社員マスタ_マクロテストのCOPY。行番号 2: "11111,..."
--------------------------------------------------------------------------------
こちらで自己解決とします。
バージョンを変えるのは現時点では厳しいので、
仰る通り、Excelの段階でUTF8でCSVを作成しようと思います。

Answer 1

既に締め切られていますが
Shift-JISのCSVファイルをCOPYコマンドで取り扱う方法です。
案１：
PSqlEditのバージョンのバージョンを下げる。
PSqlEditのバージョン４からUNICODE対応になってます。
従って、バージョン３を利用すれば、Shift-JISのCSVファイルを扱うことが可能です。
（バージョン３ではUTF8のCSVファイルを扱うことはできません）
下記の
http://www.hi-ho.ne.jp/a_ogawa/psqledit/index.htm

Version 3.3.1.0 psqledit_3310.zip(378kb)
が利用可能です。
PSqlEditは、解凍するだけで使用可能になるので、複数のバージョンが共存可能です。

案２：
（PostgreSQL、PSqlEditのバージョンはそのままでの案）

PsqlEditの代わりにPostgresqlに標準で提供されているpsqlコマンドを使う。
コマンドプロンプトを表示して
①起動例
psql -h localhost -U postgres -d postgres
②パスワード入力
クライアント側の文字コードをSJISに設定
③set client_encoding to 'sjis';
を行うと、以降、Shift-JISのCSVファイルを扱うことが可能になります。

上記の③はコマンドプロンプトを起動する都度、行う必要があります。
（恒久的にクライアント側の文字コードをSJISにしたい場合は、
Postgresqlのpostgresql.confファイルにclient_encodingを指定する箇所があるのでそれを'sjis'に変えて
Postgresqlを再起動すれば、③の設定は不要になります）

Comments

[koburon]

回答ありがとうございます。
締切ってしまい申し訳ありません。
psqlコマンドを使う方法もあるのですね。
参考にさせていただきます。

Answer 2

バージョン：9.0.1で使用できるオプションをコメントでいただきました。
UTF8形式で保存して、「WITH CSV DELIMITER ',';」を指定したところ、

COPY t_社員マスタ from '/public/csv/UpdateMaster_20230221.csv'WITH CSV DELIMITER ','
ERROR: 重複キーが一意性制約"pk_t_社員マスタ"に違反しています
DETAIL: キー ("社員番号")=(11111 ) はすでに存在します
CONTEXT: t_社員マスタのCOPY。行番号 1: "11111,..."

主キー制約が機能していることが確認できたので、こちらで自己解決とします。