bash:テキストから各行を読み込んで、jqコマンドでJSONファイルを作成する方法

Question

前提

cat test.txt

10.0.0.1/32
10.0.0.2/32
10.0.0.3/32
10.0.0.4/32
10.0.0.5/32
10.0.0.6/32
10.0.0.7/32
10.0.0.8/32
10.0.0.9/32

#echo "[]" > abc.json
#echo $count=0
上記の変数設定後、以下のbashコマンドをワンライナーで実行。

while read line; do ¥
cat abc.json | jq ."[$count] |= .+ { \"ip\" : \"${line}\" }" > abc.json ;¥ 
count=`expr $count+1` ;done < test.txt

実現したいこと

以下のように、test,txtのIPを読み込んで、JSON形式に変換したいです。
上記に記載したコマンドを実行しましたが、想定通りjsonの中身がなく、中身が空欄のままです。
コマンドの内容にこだわりはないのですが、もし修正やこうしたらできるなどアドバイスあればお願いしたいです

[
  {
    "ip": "10.0.0.1/32"
  },
  {
    "ip": "10.0.0.2/32"
  },
  {
    "ip": "10.0.0.3/32"
  },
  {
    "ip": "10.0.0.4/32"
  },
  {
    "ip": "10.0.0.5/32"
  },
  {
    "ip": "10.0.0.6/32"
  },
  {
    "ip": "10.0.0.7/32"
  },
  {
    "ip": "10.0.0.8/32"
  },
  {
    "ip": "10.0.0.9/32"
  }
]

発生している問題・エラーメッセージ

なし
※コマンド実行後は　abc.jsonを見ても中身が空欄になってる

試したこと

補足情報（FW/ツールのバージョンなど）

Answer 1

エラーになる原因は別回答のとおりです。
エラーを回避するには、書き出すファイルを abc.jsonでないものにすればいいでしょう。

そこを越えたとしても、 ループの中で > xyz.json としてしまうと毎回上書きになるので,>> xyz.jsonとして、追記するようにしなければなりません。

見ていたらおもしろそうだったので、作ってみました。 方針はかなり違います。

 (echo "["; arr=();while read line ; do arr+=("{ \"ip\": \"$line\" }") ; done < test.txt; echo $(IFS=, ;echo "${arr[*]}"); echo "]") | jq> abc.json

Answer 2

コマンド実行後は　abc.jsonを見ても中身が空欄になってる

cat abc.json | jq ."[$count] |= .+ { \"ip\" : \"${line}\" }" > abc.json

で、catやjqのコマンド実行前にリダイレクトの機能でabc.jsonのファイルを上書きオープンするのでこの時点で空になり、その後にcatやjqの実行が始まります。
一旦は別のファイルに書き出して、その後にリネームするのが普通です。

Comments

[noz_awsinf_sp]

while read line; do cat abc.json | jq ."[$count] |= .+ { \"ip\" : \"${line}\" }" > abcd.json ; count=`expr $count + 1` ;done < test.txt

別ファイルに書き出すと、最後以外はnullになるのですが、これはまた別の考慮が必要でしょうか

cat abcd.json
[
null,
null,
null,
null,
null,
null,
null,
null,
{
"ip": "10.0.0.9/32"
}
]

[otn]

abcd.json を abc.json にリネームしてないからでは？

[noz_awsinf_sp]

ありがとうござます。ループ中にリネームでいけそうでした！

while read line; do cat abc.json | jq ."[$count] |= .+ { \"ip\" : \"${line}\" }" > abcd.json ; cat abcd.json | jq . > abc.json ; count=`expr $count + 1` ;done < test.txt
```
[
{
"ip": "10.0.0.1/32"
},
{
"ip": "10.0.0.2/32"
},
{
"ip": "10.0.0.3/32"
},
{
"ip": "10.0.0.4/32"
},
{
"ip": "10.0.0.5/32"
},
{
"ip": "10.0.0.6/32"
},
{
"ip": "10.0.0.7/32"
},
{
"ip": "10.0.0.8/32"
},
{
"ip": "10.0.0.9/32"
}
]
```

[TakaiY]

別の回答に書きましたが、これは、式の中で 「>abc.json」としているため、最後の結果しか残っていないからです。

[otn]

リネームすれば良いので、単に mv abcd.json abc.json で良いかと思います。

コンパクトにやるには、
< test.txt sed 's/.*/{"ip": "&"}/' | jq -s . >abc.json

jq -s で複数JSONを1つの配列JSONに出来ます。

Answer 3

同じようなことをやろうとしてちょっと苦労したので共有します。
bashでwhile readをどうしても使いたくなかったので

-R オプションで、rawフォーマットの処理ができます。
-s オプションで、配列に変換します。（いわゆる殻割の逆）

cat test.txt | jq -R '{"ip": .}' | jq -s '.'