【PostgreSQL】COPYコマンドでCSVファイルを取り込むと数値の後ろの空白が足りずに追加されるのは何故ですか

Question

前提

VBAのマクロで作成したCSVファイルを、PostgreSQLの社員マスタにCOPYコマンドでインポートします。下記URLを参考にして作成しました。
・【超簡単】ワンタッチでエクセルからCSV出力するVBAプログラム
・PostgreSQLでCSVファイルをインポート／エクスポートする方法

該当のソースコード

社員マスタのテーブルです。文字型は全てcharacterです。

CREATE TABLE public."t_社員マスタ" (
    "社員番号" character(8) NOT NULL,
    "氏名" character(16),
    "氏名カナ" character(24),
    "所属コード" character(3),
    "所属" character(30),
);
ALTER TABLE ONLY public."t_社員マスタ"
    ADD CONSTRAINT "pk_t_社員マスタ" PRIMARY KEY ("社員番号");

作成したCSVファイルです。

社員番号	氏名	氏名カナ	所属コード	所属
12345	田中太郎	タナカ タロウ	025	本社総務部

発生している問題

一度CSVをExcelで開き、「名前を付けて保存」⇒「CSV UTF-8(コンマ区切り)」で保存をしました。
そして、再びCOPYコマンドを実行したところ、社員番号で主キー制約しているので重複する社員番号は追加されないはずですが、実行されレコードが追加されてしまいました。

t_社員マスタの"社員番号"は8文字の固定長文字列型であり、全て5ケタの半角数字で後ろの3文字は空文字で埋まるようになっているので、"12345□□□"になるはずだと想定していました。

ところが、COPY実行後追加されたレコードを確認したところ、"12345□□"と7文字になっていました。

実現したいこと

5ケタの数字の後ろの3文字分埋めるようにしたいです。

CSVを作成する段階で固定長を8文字に設定するツールがあるのか、COPYコマンドで必要な設定が抜けているのか、アドバイスいただけると幸いです。
よろしくお願いいたします。

補足情報（FW/ツールのバージョンなど）

PC：Windows11
Excelのバージョン：Microsoft365 Excel
PostgreSQLのバージョン：9.0.1
PSqlEditのバージョン：5.2.3.9

Comments

[tatsu99]

>COPY実行後追加されたレコード確認したところ、"12345□□"と7バイトになっていました。
どのようにして、そのことを確認されたのでしょうか。
PSqlEditで　select * from t_社員マスタ;　で表示させたのでしょうか。

[koburon]

はい、select文で表示させた後、レコードの'12345'をコピーして貼り付けしたところ、'12345□□'と後ろが2文字だけになっていました。

[tatsu99]

こちらで、再現試験をおこなったのですが、再現しませんでした。
１．下記をCOPYコマンドでDBへコピー（OK）
"18880","羽田","ハネダ","100","SECT1","10","BRANCH1","YAKU1"
２．下記をCOPYコマンドでDBへコピー（全てNG）
"18880","羽田1","ハネダ","100","SECT1","10","BRANCH1","YAKU1"
"18880□","羽田2","ハネダ","100","SECT1","10","BRANCH1","YAKU1"
"18880□□","羽田3","ハネダ","100","SECT1","10","BRANCH1","YAKU1"
"18880□□□","羽田4","ハネダ","100","SECT1","10","BRANCH1","YAKU1"
３．タブ文字を最後につけて、CUPYコマンドを実行（OK）
"18880□□<TAB>","羽田4","ハネダ","100","SECT1","10","BRANCH1","YAKU1"
<TAB>は、タブ１文字です。
psqleditで表示すると、タブ文字なので18880□□□　のように見えます。
（□は半角の空白１文字）
タブのような文字はべつとして、通常は右側の空白の数が違っても、postgresqlによって残り３桁分が空白になるように
調整されるので重複は発生しないはずです。
どのような、データを投入すると重複データが発生したのでしょうか？（タブなどは入ってないですね）

[bsdfan]

Excelでutf-8のcsvを出すとBOM付きになると思うので、'12345□□' の先頭に表示されていないBOM(U+FEFF)がくっついてたりしないでしょうか？

[koburon]

再現いただきありがとうございます。
試しに、社員番号5ケタの数字だけを残し、以外の全ての値を0にしたレコード
"12345","0","0","0","0","0","0","0"
をCOPYコマンドでインポートしたところ、"12345□□□"となるように調整されていました。

また、本題から少し外れているかもしれませんが、

COPY t_社員マスタ_マクロテスト from '/public/csv/UpdateMaster_20230303.csv'WITH CSV DELIMITER ',';

これをwith以降のオプションを外して実行したところ、
ERROR: 値は型character(8)としては長すぎます
というエラーが発生しました。
社員番号から右の値が長すぎるのが影響しているのでしょうか。

[koburon]

＞bsdfan様
メモ帳でcsvを開いたところ、BOM付きになっているのを確認しました。
また、重複して入ってしまったあと、order　by 社員番号で並び替えたところ、離れた場所になってしまいました。仰る通り、先頭にBOM(U+FEFF)がついているのかもしれません。
CSVを作成した後でBOMを除去することはできるのでしょうか。

[tatsu99]

BOMの問題ですが、BOMがついていても、Postgresqlは正しく処理してくれます。
従って、BOMがついていることが問題ではないと考えます。
12345のあとに全角の空白などがついてないでしょうか。
12345□,氏名１,・・・①
12345△,氏名１,・・・②
□は全角空白1文字、△は半角空白1文字とします。
①のデータは重複なしなので登録されます。
②のデータは重複ありなのでエラーとなります。
CSVファイルを全角空白と半角空白の違いが判るエディタで表示してみれば確認できるかと思います。

[koburon]

CSVをメモ帳で開き、「名前を付けて保存」で文字コードを「UTF-8」にして保存しました。
保存したCSVをCOPYコマンドで実行した後社員番号を確認したところ、残り３桁分が空白になるように
調整されていました。
BOMを除去できたようです、ありがとうございました。

[tatsu99]

こちらでも、同じ手順で再現しました。BOM付きが原因ですね。
とりあえず、暫定対策としては、
①SJISのCSVファイルをメモ帳で読み込み、UTF8（BOM無）で保存し、それをCOPYコマンドで処理する。

になるかと思いますが、恒久対策としては、

②SJISのCSVをCOPYコマンド処理できるようにする。
③UTF8（BOM無）でCSVファイルを作成する。

②については、下記でその方法が提示されています。
https://teratail.com/questions/9wwgqphswcflcw

③については、下記でその方法が提示されています。
https://teratail.com/questions/r35xkw19w4hwzh

②③のどちらかを試されてはいかがでしょうか。

[koburon]

案を提示いただきありがとうございます。
本来ならCSVを作成するマクロでUTF8形式で保存するように記入したいところですが、文字化け等の問題でスルーしていました。
問題はひとまず解決できたので、今後はBOM除去の手間を省けるよう調整していきたいと思います。

Answer 1

コメントにも書いてくださった通り、先頭にBOMが付与されていることがエラーの原因でした。
CSVをメモ帳で開き、「名前を付けて保存」で文字コードを「UTF-8」（「UTF-8(BOM付き)」ではない）にして保存しました。
COPYコマンドで実行したところ、残り３桁分が空白になるように調整されていたので、
当面はこれでCSVを作成していこうと思います。
解決策のコメントをいただきありがとうございました。