大容量のcsvをグループ分けしたい

Question

csvファイル「sample.csv」に、以下のような内容が200万行以上書いてあります。容量にして50MB以上です。

id,name
"A101","aaa"
"A101","bbb"
"B202","aaa"
"B202","bbb"
"B202","ccc"
"C303","aaa"
"C303","bbb"
"C303","ccc"
"C303","ddd"

この大容量のcsvを、項目「id」ごとにグループ分けして整形し、以下のように1行ずつ標準出力したいと考えています。

"id":"A101"
"name":["aaa","bbb"]
"id":"B202"
"name":["aaa","bbb","ccc"]
"id":"C303"
"name":["aaa","bbb","ccc","ddd"]

出力結果がこのようになる処理をシェルスクリプトで記述したいのですが、どのように記述すると良いのでしょうか？

試したこと

シェルスクリプトに以下のように記述しました。
この記述方法ですと、数百KB程のcsvを読み取れることは確認できたのですが、
50MBになると何時間経っても処理が終わりませんでした。

data1=[$(awk -F, '(NR>1){r[$1]=r[$1] $2}
        END{for(i in r) print "{\"id\": "i FS " " "\"name\": ["r[i]"]}"}' sample.csv)]

data2=$(echo ${data1} | sed "s/\"\"/\", \"/g" | sed "s/} {/}, {/g")

echo ${data2} | jq -c '.[]' | sed -E "s/,(.*[)/$(printf '\\012 ')\1/g" | sed "s/[\{\} ]//g]"

大容量のcsvでも処理できるようにするための方法をご教授いただけますと幸いです。
よろしくお願いいたします。

Answer 1

こう云う処理はシェルスクリプトよりawkスクリプトで処理したほうが楽じゃないでしょうか。

# test.awk
BEGIN{
    FS=","
}
NR>1{    
    names[$1] = names[$1] "," $2;
}
END{
    for(id in names){
        name = substr(names[id],2)
        printf "\"id\":%s\n", id
        printf "\"name\":[%s]\n", name
    }
}

awk -f test.awk sample.csv

Comments

[退会済みユーザー]

大変参考になりました！
ありがとうございます！

Answer 2

csv を DB に import を、 SQL で集計するとか、 ruby や python などで DB にアクセスして
集計して、所定の書式で出出力するという方針は取れないのですか？

id の種類が少なければ、 id で grep して、 id 毎に分割したファイルを作り、書くファイル毎に所定の書式に変換するとかの方法も考えられます。

id ソート (sort コマンドでこの程度サイズのファイルでも可能なはず） すれば、所定の書式に書き換えることは
小さなプログラムを書いて実現できるはず。

Comments

[退会済みユーザー]

大変参考になりました！
ありがとうございます！

Answer 3

ソートされている前提で、

#!/bin/bash
cat sample.csv |
sed '1d;$a,' |
while IFS=, read key val
do if [ "$key" = "$old" ]
   then data="$data,$val"
   else if [ "$old" ]
        then echo '"id":'"$old"
             echo '"name":['"${data#,}]"
        fi
        old="$key"
        data=""
   fi
done

Comments

[退会済みユーザー]

大変参考になりました！
ありがとうございます！

Answer 4

bash の連想配列を使う方法はどうでしょうか。
id の順番が変わってしまいますが。

declare -A names
while IFS=, read id name ; do
    [ "$id" = "id" ] && continue
    if [ "${names[$id]}" = "" ] ; then
        names[$id]="$name"
    else
        names[$id]="${names[$id]},$name"
    fi
done < CSVFILE

for id in ${!names[*]} ; do
    echo "\"id\":$id"
    echo "\"name\":[${names[$id]}]"
done

---

(2020/06/16 15:44) 追記
順序を保持するように改良。

declare -A names
declare -a id_order
while IFS=, read id name ; do
    [ "$id" = "id" ] && continue
    if [ "${names[$id]}" = "" ] ; then
        names[$id]="$name"
        id_order+=($id)
    else
        names[$id]="${names[$id]},$name"
    fi
done < CSVFILE

for id in ${id_order[*]} ; do
    echo "\"id\":$id"
    echo "\"names\":[${names[$id]}]"
done

Comments

[退会済みユーザー]

大変参考になりました！
ありがとうございます！