カラム数が不揃いなcsvを取り込みたい
解決済
回答 2
投稿
- 評価
- クリップ 0
- VIEW 4,940
前提・実現したいこと
以下のような、カラム数が行によって異なるcsvがあります。
これをデータベース上のテーブルに取り込みたいです。
1,3,aaa,bbb,ccc
2,2,ddd,eee
できれば、事前にcsv側を加工することなく取り込みたいのですが、難しいでしょうか。
試したこと
不足分はNULLになってくれることを期待して、
カラム数多めのテーブルを用意し、copy実行しましたがそうはならないようでした。
またそのようなオプションを見つけることができませんでした。
CREATE TABLE test3 (id int, length int, col1 text, col2 text, col3 text);
COPY test3 FROM '/data.csv' WITH CSV;
ERROR: 列"col3"のデータがありません
CONTEXT: test3のCOPY。行番号 2: "2,2,ddd,eee"補足情報（FW/ツールのバージョンなど）
PostgreSQL 9.5.12
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
+2
CSVとはせず、textで１行１項目として取り込んだ後に、加工するのはどうでしょうか。
一旦仮テーブルに取り込んで置いて、その後配列として分解して本来のテーブルに挿入。
CREATE TABLE test3 (id int, length int, col1 text, col2 text, col3 text);
CREATE temp TABLE test (item text) on commit drop;
COPY test FROM '/data.csv' WITH text;
insert into test3
select string_to_array(item ,','))[1]::int -- id
, string_to_array(item ,','))[2]::int -- length
, string_to_array(item ,','))[3] -- col1
, string_to_array(item ,','))[4] -- col2
, string_to_array(item ,','))[5] -- col3
from test
--※添え字に該当するものが無い場合はNullになる投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
0
足りないカンマを足すだけでは？
$ cat data.csv|awk -F, -vn=5 '{for(i=1;i<=NF;i++){printf$i","};for(;i<=n;i++){printf","};print""}'|sed 's/,$//'
1,3,aaa,bbb,ccc
2,2,ddd,eee,投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 89.10%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
2018/03/05 22:48
おかげさまで、やはり何らか加工するしかなさそうだと、諦めがつきました。
具体的な加工の仕方も参考になりました。
ありがとうございます。