質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

Linux

Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

データベース

データベースとは、データの集合体を指します。また、そのデータの集合体の共用を可能にするシステムの意味を含めます

文字コード

文字コードとは、文字や記号をコンピュータ上で使用するために用いられるバイト表現を指します。

Q&A

解決済

2回答

1253閲覧

PostgerSQLで作成したDBにCSVデータを登録したいのですがエラーとなり対応に苦慮しています。

S.Holy

総合スコア1

PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

Linux

Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

データベース

データベースとは、データの集合体を指します。また、そのデータの集合体の共用を可能にするシステムの意味を含めます

文字コード

文字コードとは、文字や記号をコンピュータ上で使用するために用いられるバイト表現を指します。

0グッド

0クリップ

投稿2022/01/10 02:58

前提・実現したいこと

データファイルをAWKでCSVファイルに変換し、DBに登録したいです。

サーバ上に置いたデータをawkで区切り文字を付けてLinuxコマンド(>A111.csv >>A111.csv)を使用して、CSVファイルを作成しています。
また、そのCSVファイルを、PostgerSQLで作成したDBに対して
Psql COPY db_dddd from /a/a/A111.csv' encoding 'SJIS' WITH CSV;
と記載して実行したところ、以下のメッセージが発生しました。

発生している問題・エラーメッセージ

invalid byte swquence for encoding "SJIS":0X81 0X2C

とのエラーが出て登録できません。
記載方法が違うのでしょうか?
それとも記載が足りないのでしょうか?
なお、CSVファイルのデータ内容には日本語項目が含まれています。

ネットで調べてみましたが、「 encoding "UTF8"」というのは色々出てきますが、
SJISについては少ないので質問させていただきます。

試したこと

Psql COPY db_dddd from /a/a/A111.csv' WITH CSV;
で実行してみましたが結果は変わりませんでした。

補足情報(FW/ツールのバージョンなど)

PostgerSqLデータベースの文字コードの確認は
SELECT character_set_name FROM information_schema.character_sets;
character_set_name

UTF8

と出力されました。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

YT0014

2022/01/10 05:02

エラーメッセージをきちんと読みましょう。 「SJISエンコードでは無効なバイト列:0X81 0X2C」となっており、812cというコードが、SJISには存在しない、というエラーです。 SJISの文字コード表も確認しましたが、該当する文字がありません。 対象のCSVファイルを確認して、812Cの文字を特定してください。 また、エディタなどで、SJISとして読込んでみて、正常に読込めるか、ご確認ください。
YT0014

2022/01/10 13:02

0x2Cは、カンマの文字コードなので、awkでの処理に誤りがあり、2バイト文字の間にカンマが入り込んでいる状態だと思われます。
guest

回答2

0

ベストアンサー

元のcsvファイルを、lvやnkfでutf8に変換すればいいのでは?

$ lv -Ou8 hoge.csv | awk ... > A111.csv

投稿2022/01/10 03:07

shiketa

総合スコア4061

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

S.Holy

2022/01/10 03:34

申し訳ございません。lvやnkfのコマンドを入れてみたら、「コマンドが見つかりません」と出てしまったので、他の方法で対応できることがあれば…と思い質問しました。 それでしか対応できそうになければ、コマンドのインストール方法を書いたサイトを探してインストールしてみます。良いサイトご存じですか?
shiketa

2022/01/10 04:03 編集

iconvとかないですかね。インストールは、Debian系なら、`sudo apt-get install nkf`でいけるかと。
guest

0

iconvとtrを使い解決できました。

投稿2022/01/11 01:46

S.Holy

総合スコア1

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問