Bash でデータファイル加工・結合 awk join など

Question

やりたいこと

lists.js と cats.js の二つのファイルを加工して、data1.txt と data2.txt にしてから、二つのファイルをデータベースの外部結合風に結合したい。
lists.js => data1.txt
cats.js => data2.txt
data1.txt

1,問い合わせ1,回答1
2,問い合わせ2,回答2
3,問い合わせ3,回答3
4,問い合わせ4,回答4
5,問い合わせ5,回答5

data2.txt

1,カテゴリー3
2,カテゴリー1
3,カテゴリー1
5,カテゴリー4

join コマンドで結合。

$ join -t, -a1 -o auto -eNULL data1.txt data2.txt
1,問い合わせ1,回答1,カテゴリー3
2,問い合わせ2,回答2,カテゴリー1
3,問い合わせ3,回答3,カテゴリー1
4,問い合わせ4,回答4,NULL
5,問い合わせ5,回答5,カテゴリー4

lists.js

const data = {
  "lists" : [ {
    "a" : "回答1",
    "id" : "1",
    "q" : "問い合わせ1"
  }, {
    "a" : "回答2",
    "id" : "2",
    "q" : "問い合わせ2"
  }, {
    "a" : "回答3",
    "id" : "3",
    "q" : "問い合わせ3"
  }, {
    "a" : "回答4",
    "id" : "4",
    "q" : "問い合わせ4"
  }, {
    "a" : "回答5",
    "id" : "5",
    "q" : "問い合わせ5"
  }]
}

lists.js => data1.txt
test.sh

#!/usr/bin/env bash
sed -E '1,2d; s/(^[ \t]*|[ \t]*$)//g' lists.js |
sed -z 's/}]\n}//' |
awk -F, 'BEGIN{RS="}, {"} {
  for(i=1; i<=3; i++) {
    split($i,array,"\"")
    $i=array[4]
  }
  print $2 "," $3 "," $1
}'
echo ${PIPESTATUS[@]}    #パイプエラー確認

最初と最後の二行を削除、行頭と行末のスペースを削除してから、row を改行ではなく、}, { で区切ってグループ化しています。列の区切りは、, です。
結果、

1,問い合わせ1,回答1
2,問い合わせ2,回答2
3,問い合わせ3,回答3
4,問い合わせ4,回答4
5,問い合わせ5,回答5
0 0 0

cats.js

const data = {
  "categories" : [ {
    "c" : "カテゴリー1",
    "id" : "1",
    "lists_id" : "2 3"
  }, {
    "c" : "カテゴリー2",
    "id" : "2",
    "lists_id" : ""
  }, {
    "c" : "カテゴリー3",
    "id" : "3",
    "lists_id" : "1"
  }, {
    "c" : "カテゴリー4",
    "id" : "4",
    "lists_id" : "5"
  }]
}

cats.js => data2.txt
test2.sh

#!/usr/bin/env bash
sed -E '1,2d; s/(^[ \t]*|[ \t]*$)//g' cats.js |
sed -z 's/}]\n}//' |
awk -F, 'BEGIN{RS="}, {"} 
{
  for(i=1; i<=3; i++) {
    split($i,array,"\"" )
    $i=array[4]
  }
  split($3,array," ")
  for(i in array) {
    id_cat[array[i]]=$1
  }
  for(i in id_cat) {
    print i "," id_cat[i]
  }
  delete id_cat
}' | sort -t, -n
echo ${PIPESTATUS[@]}    #パイプエラー確認

結果、

1,カテゴリー3
2,カテゴリー1
3,カテゴリー1
5,カテゴリー4
0 0 0 0

こちらもうまくいっているようですが、もっとシンプルに書けるのではないかと疑問に思っています。間違いや修正点、別の方法があればご教示お願いいたします。

Answer 1

以下は jq コマンドを利用する場合です。

jq -r -n --slurpfile cats <(echo {; sed 1d cats.js) '
  (
    $cats[] | .categories |
    map(select(.lists_id != "") | .c as $c |
        .lists_id | split(" ") | map({idx: ., category: $c})) |
    flatten
  ) as $catg |
  INDEX($catg[]; .idx) as $catg_idx |
  inputs | .lists[] |
  [.id, .q, .a, $catg_idx[.id].category // "NULL"] | join(",")
' <(echo {; sed 1d list.js)

Comments

[tanaka_z]

jq コマンドすごく良いです。
こんな便利なコマンドがあることを知りませんでした。
提示してくださったコードも大変勉強になりました。
有益なご回答ありがとうございます!