リストからJSONを生成したい

Question

前提・実現したいこと

以下のような中間結果があります。

$ cmd1 | cmd2 | cmd3
file1
file2

上の出力をさらにmapして最終的に以下のようなJSONを標準出力したいです。

{"items": [
  { "title": "file1" },
  { "title": "file2" }
]}

どういうやり方があるでしょうか？

Answer 1

JSONだと末尾のカンマを取らないといけないのが面倒なところですね。

$ cat sample.dat | awk 'BEGIN { print "{\"items\": ["; eol="" } { printf "%s  { \"title\": \"%s\" }", eol, $0; eol=",\n" } END { print "\n]}" }'

BEGIN {
  print "{\"items\": ["; eol=""
}
{
  printf "%s  { \"title\": \"%s\" }", eol, $0;
  eol=",\n"
}
END {
  print "\n]}"
}

{"items": [
  { "title": "file1" },
  { "title": "file2" },
  { "title": "file3" }
]}

Comments

[kawauso7_c]

ありがとうございました！

Answer 2

どういうやり方があるでしょうか？

何か、大喜利に発展しそうなご質問ですね。基本的に行データからJSONに変換する標準入出力を利用したフィルターとしてのプログラムで行けそうです。昔ながらのawkコマンドを使い、ワンライナーなら以下のようなものではどうでしょう。
awk 'BEGIN {printf("{\"item\": [");} {if (NR > 1) {printf(",");} printf("\n { \"title\": \"%s\" }", $0);} END {print("\n]}\n");}'

data.txtと言うファイル名のファイルにデータを入れて、試してみます。

$ cat data.txt
file1
file2
file3
file4

$ cat data.txt | awk 'BEGIN {printf("{\"item\": [");} {if (NR > 1) {printf(",");} printf("\n  { \"title\": \"%s\" }", $0);} END {print("\n]}\n");}'
{"item": [
  { "title": "file1" },
  { "title": "file2" },
  { "title": "file3" },
  { "title": "file4" },
  { "title": "file5" }
]}

コマンドラインオプションで指定すると読みづらいので、awkのスクリプトファイルとするならば以下のようになります。

BEGIN {
    printf("{\"item\": [");
}
{
    if (NR > 1) {
        printf(",");
    }
    printf("\n  { \"title\": \"%s\" }", $0);
}

END {
    print("\n]}\n");
}

これをt1.awkと言う名前のスクリプトファイルにして、実行してみます。

$ cat data.txt | awk -f t1.awk
{"item": [
  { "title": "file1" },
  { "title": "file2" },
  { "title": "file3" },
  { "title": "file4" },
  { "title": "file5" }
]}

JSONを元からサポートしているPythonやRubyなどのプログラミング言語を使えば、より簡単で正確に扱えると思います。

Comments

[dodox86]

久しぶりにawkを使ってみたくてつい回答してしまいましたが、丸投げ案件だったかも。

[kawauso7_c]

ありがとうございました！（丸投げ案件とは…？）

[Daregada]

途中まででも自分でやってみろということだよ。

[dodox86]

そうです。「どういうやり方があるでしょうか？」と、全面的に回答に依存したかたちになっていたように思うので。

[Daregada]

たとえば、「自分で作ってみたのですが(作ったコードを提示)、これだと配列の最後のオブジェクトの末尾にも`,`が付いてしまいます。どうすればこれを付けないようにできますか?」とかなら、何の問題もなかったと思います。

[kawauso7_c]

質問に問題があったようなのですが、まだあまり納得がいっていません。
AWKや似たコマンドを知らなかった場合、途中までどうやったら良かったのでしょうか。PythonやPerl等で書き換えたらできることは知っている、等と書けばまた印象が違いましたか？

[dodox86]

＞@kawauso7_cさん

> AWKや似たコマンドを知らなかった場合、途中までどうやったら良かったのでしょうか。

拙速に回答してしまった私にも非がありますね。この点は申し訳ないことをしました。すみません。

質問を読んだ方の印象にもよるので必ずしも全面的に悪いと言っている訳ではありません。事実、私もご質問に低評価はしていないし、コメントでも「丸投げ案件だった"かも"。」と書いています。"丸投げ"と指摘したことについて悪い印象を与えた嫌いはあると思いますけれども。質問の仕方、書き方もあると思いますが、「どういうやり方があるでしょうか？」と言う問いかけだけを読み、考えると、やり方を列挙する回答を求めているように見えますし、少なくとも当初は私もそう思いました。そのことに回答者側が不満があれば、「質問への追記・修正依頼」で不足分の加筆をお願いすればよかった訳ですが、今回は私の興味の先行もあってそうはしませんでした。その点はちょっと反省しています。また、過去にもほぼ丸投げと思える質問でも、技術的な興味があれば回答することはありました。最近はどうも全般的に丸投げ、要は無償での作業依頼と思える質問（こちらの質問のことではありません）が多くなったように思え、神経質になっていることもあります。丸投げ案件に対しての回答は、割りに合いません。無報酬で仕事をしているようなもので、やりがい搾取です。

一部は私の意見も含みますが、実のところ直近で考えれば、質問が回答者、閲覧者にとって興味深く、回答のし甲斐があるもので、作業依頼を感じさせない問いであれば良いのです。もう少し長い目で見れば、質問者の努力が垣間見え、それを手助けできる回答ができ、完成された質問～回答をもって後の閲覧者にとっても有益なものになり得るのであれば、それは本サイトの主旨にも合致するはずなので、それも良いのです。

抽象的な話になってしまいましたが、話を戻すと、今回のご質問でいえば「どういうやり方があるでしょうか？」と言う質問に対しては「pythonやruby,perlでこれ使ってあれ使ってやればできますよ。」くらいの回答であればバランスが取れていたのかもしれません。そうであれば「あれ？丸投げかも」と私が疑問に思うことも無かったでしょうね。

[kawauso7_c]

お返事いただきありがとうございます。
知りたいことや既に知っていることをもう少し詳しく書いておけば誤解を生まなかったと反省しています。
dodox86 さんがおっしゃっているように、質問に問題があるなら「質問への追記・修正の依頼」機能を使えばいいし、それをしないなら後からくさすコメントをつけるのはないんじゃないかなと思います（”かも”のある無しはあまり関係ないと思います）。サイトの健全化のためにも。