csvファイルをPythonを使ってPostgreSQLに保存できない。

Question

以下のコードを試しました。
ヘッダーのfood_nameがintegerでないというエラーが出てしまうのですが、ヘッダーを含めないようにするにはどうすればいいですか？

import psycopg2

try:
    # PostgreSQLへ接続
    conn = psycopg2.connect("dbname='test' user='postgres' password='password'")
    cur = conn.cursor()
    conn.set_isolation_level(0)

    #データベースに投入するファイルの読み込み
    f = open('C:/Users/user/Desktop/test.csv', mode='r', encoding='cp932')
    #COPYの実行
    cur.copy_from( f , 'test.testtbl', sep='\t', null='\N',columns=('id','food_name'))
    conn.commit()
    f.close()
    print( "OK" )

except psycopg2.Error as e:
   print( "NG Copy error! ")
   print(  e.pgerror )

<エラー内容>
ERROR: "integer"型の入力構文が不正です: "id,food_name"

<CSVファイル>
id | food_name
1 | りんご
2 | パン
3 | ハンバーグ

Answer 1

ヘッダーを含めないようにするにはどうすればいいですか？

copy_fromのパラメータに「HEADER='True'」を追加してみて下さい。

ヘッダーのfood_nameがintegerでないというエラーが出てしまうのですが

そもそも、food_nameは文字型でしょうから、エラーはIDの方だと思います。

Comments

[Lapis051130]

試してみましたが以下のエラーがでました。
TypeError: 'HEADER' is an invalid keyword argument for this function

[sazi]

copy fromのheaderオプションには対応していないようですね。
https://github.com/psycopg/psycopg2/issues/307
copy_fromではなくcopy_expertで発行すれば良さそうです。
https://stackoverflow.com/questions/25566386/copy-from-csv-with-heades-in-postgres-with-python

[Lapis051130]

試してみましたが以下のエラーがでました。
'utf-8' codec can't decode byte 0xe3 in position 0: unexpected end of data

[sazi]

文字コードの指定が間違っていないなら、それは、変換できない文字コードが含まれているからです。
元のデータから除去するしかありません。

[Lapis051130]

csvファイルの文字コードはShift-jisでencoding="cp932"にしています。
csvファイルの中には余計な文字コードはありませんでした。

[sazi]

エラーでは0xe3がposition 0にあると云っています。
テキストエディタなどでは確認できないはずですので、バイナリーエディタなどで確認されてはどうですか。
テキストエディタでもサクラエディタなどであれば、該当箇所にカーソルを持っていくと文字コードが識別できますが。

[sazi]

0xe3はutf-8系のコードですので、文字コードを再確認してみて下さい。
正しく取込めているかは、手作業で作成したデータやcopy toで出力したデータを使用して行った方が切り分けが付けやすいと思います。