bashで列での出力を行で出力

Question

前提・実現したいこと

シェルスクリプトのlog整形について、うまくいかず苦慮しています。
縦に出力された文字を横に出力したいです。

cat log.txt
日付,ID,コード,時間,件数
20210101,1000,aaaa,01,2
20210101,1000,aaaa,02,6
20210101,1000,aaaa,03,5
・・・・・・
20210101,1000,aaaa,23,5
20210101,1001,bbbb,01,1
20210101,1001,bbbb,02,2
20210101,1001,bbbb,03,3
・・・・・・
20210101,1001,bbbb,23,4

を

日付,ID,コード,01,02,03,・・・23
20210101,1000,aaaa,2,6,5・・・,5
20210101,1001,bbbb,1,2,3・・・4

1時間ごとの件数をエクセルに転記するため、この形の出力が必要になります。
uniqやecho -nを使用すると思うのですが、ご存じであれば教えていただけないでしょうか。

Comments

[Daregada]

出力結果に「コード」の値が抜けていませんか?
ヘッダーには書いてありますね。

[konaga]

ご指摘の通りです。ありがとうございます。

Answer 1

興味があったのでPythonで書いてダミーのログを読ませてみましたが、これログがID別に時間通りに並んでいないとシェルスクリプトではつらいのでは。

import pandas as pd

pd.set_option('display.unicode.east_asian_width', True)

df = pd.read_csv("log.txt", dtype={'日付': 'object', 'ID': 'object', '時間': 'object'})
# print(df)

df2 = df.pivot_table(index=["日付", "ID", "コード"], columns="時間",
                     values="件数", aggfunc=sum)
df2.columns.name = None
df2 = df2.reset_index()
# print(df2)

df2.to_csv("converted_log", index=None)

日付,ID,コード,01,02,03,04,05,06,07,08,09,10,11,12,13,14,15,16,17,18,19,20,21,22,23
20210101,1000,aaaa,2,6,5,5,6,7,8,9,10,11,12,12,11,10,9,8,7,6,5,4,3,2,5
20210101,1001,bbbb,1,2,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,4

日付,ID,コード,時間,件数
20210101,1000,aaaa,01,2
20210101,1000,aaaa,02,6
20210101,1000,aaaa,03,5
20210101,1000,aaaa,04,5
20210101,1000,aaaa,05,6
20210101,1000,aaaa,06,7
20210101,1000,aaaa,07,8
20210101,1000,aaaa,08,9
20210101,1000,aaaa,09,10
20210101,1000,aaaa,10,11
20210101,1000,aaaa,11,12
20210101,1000,aaaa,12,12
20210101,1000,aaaa,13,11
20210101,1000,aaaa,14,10
20210101,1000,aaaa,15,9
20210101,1000,aaaa,16,8
20210101,1000,aaaa,17,7
20210101,1000,aaaa,18,6
20210101,1000,aaaa,19,5
20210101,1000,aaaa,20,4
20210101,1000,aaaa,21,3
20210101,1000,aaaa,22,2
20210101,1000,aaaa,23,5
20210101,1001,bbbb,01,1
20210101,1001,bbbb,02,2
20210101,1001,bbbb,03,3
20210101,1001,bbbb,04,3
20210101,1001,bbbb,05,3
20210101,1001,bbbb,06,3
20210101,1001,bbbb,07,3
20210101,1001,bbbb,08,3
20210101,1001,bbbb,09,3
20210101,1001,bbbb,10,3
20210101,1001,bbbb,11,3
20210101,1001,bbbb,12,3
20210101,1001,bbbb,13,3
20210101,1001,bbbb,14,3
20210101,1001,bbbb,15,3
20210101,1001,bbbb,16,3
20210101,1001,bbbb,17,3
20210101,1001,bbbb,18,3
20210101,1001,bbbb,19,3
20210101,1001,bbbb,20,3
20210101,1001,bbbb,21,3
20210101,1001,bbbb,22,3
20210101,1001,bbbb,23,4

Answer 2

単純な行列の交換であればいろいろありますが、
今回の場合は時間以降のみの行→列変換なので、汎用的なコマンドでは難しそうですね。

https://orebibou.com/ja/home/201606/20160607_002/

Answer 3

抜けが無い前提で、

while IFS=, read day id code time cnt
do if [ "$old" = "$day-$id" ]
   then echo -n ",$cnt"
   else echo
        echo -n "$day,$id,$cnt"
   fi
   old="$day-$id"
done < in-file > out-file
echo >> out-file

ですかね。ヘッダはあとで、手修正です。