列要素を行に並べなおす処理を行いたい

Question

ファイルの処理についての質問をさせていただきます。

text1.txtの内容をtext2.txtにできるスクリプトを作りたいと考えています。

text : [[111]
[22]
[33]]
text : [[444]
[55]
[66]]
text : [[777]
[88]
[99]]
text : [[12]
[34]
[56]
[78]]
text : [[90]
[23]
[45]
[67]]
text : [[24]
[56]
[76]
[85]]

111   444  777
22    55   88
33    66   99

12    90   24
34    23   56
56    45   76
78    67   85
...

作成したスクリプトが以下になります。

cat text1.txt | sed 's/text//g' | sed -e 's/[//g' -e 's/]//g'

実行結果が以下になります。

 : 111
22
33
 : 444
55
66
 : 777
88
99
 : 12
34
56
78
 : 90
23
45
67
 : 24
56
76
85

この後がどのように処理したらよいか分からず、手作業になってしまいます。

分かる方がいましたら、回答いただけると助かります。
※ご回答いただいた内容に質問させていただくこともあるかと思いますので、
※よろしければご返信いただければと思います。

Comments

[otn]

text: から始まる行を3行ずつ組み合わせるということですか？
3行というのはデータ内容によらないで固定？

あと、お書きのスクリプトだとエラーですが？？コピペ間違い？

[yone_yone]

>text: から始まる行を3行ずつ組み合わせるということですか？
その通りです。

>3行というのはデータ内容によらないで固定？
そこは固定でお願いします。

>あと、お書きのスクリプトだとエラーですが？？コピペ間違い？
こちらの手違いでコピペ間違いです。
質問内容の修正を行いました。

[退会済みユーザー]

空のデータ[]が存在する可能性はありますか？
また、ある場合はどのように出力すると良いですか？

Answer 1

行列の転置には、pasteコマンドを使うのですが、あんまりきれいにいかないですね。

#!/bin/bash
cat <<EOF |
text : [[111]
[22]
[33]]
text : [[444]
[55]
[66]]
text : [[777]
[88]
[99]]
text : [[12]
[34]
[56]
[78]]
text : [[90]
[23]
[45]
[67]]
text : [[24]
[56]
[76]
[85]]
EOF
sed -n '/^text/{s/^.*[//;s/]//;h}
/^[.*[^]]]$/{s/[][]//g;H}
/]]$/{s/[][]//g;H;g;s/\n/,/gp}' |
while read x && read y && read z
do
  paste <(echo "$x"|tr , '\n') <(echo "$y"|tr , '\n') <(echo "$z"|tr , '\n')
  echo #区切りの空白行
done

sedで、textから]]までをカンマ区切りで1行にまとめて、それを3行読んでpasteします。

最後のpasteの前処理でカンマを改行に置換するのは、別案で、

paste <(echo "${x//,/
}") <(echo "${y//,/
}") <(echo "${z//,/
}")

でもいいです。どっちがいいか微妙なので、両方書いておきます。

データにカンマが含まれる可能性があるなら、タブなど含まれない文字に変更してください。

Comments

[yone_yone]

回答ありがとうございます。
ベストアンサーとさせていただきます。

[退会済みユーザー]

鈍重すぎてビンテージコンピュータみたいに動作する。
入力を1,000行に増やすと以下の結果

real 0m13.999s
user 0m4.969s
sys 0m14.323s

まじで、わざとやってない？
懐かしいけどさ

[退会済みユーザー]

質問者の仕様を満たしたかどうかは不明だが、
GAWKのみを使った結果は以下(同1,000行の入力)

real 0m0.093s
user 0m0.015s
sys 0m0.061s

[otn]

3データ毎にプロセスを7つ起動しますからね。
修正版にすると4つになるので少しましになるでしょう。
小規模データ(3x3)の、繰り返したくさん、のパターンだと、コマンド起動は遅いです。
大規模データで、繰り返し無しだと、pasteが生きると思いますが。

[退会済みユーザー]

まるでMSXみたいな動作で暖かな気持ちになれた
けれど、古い教科書にも載っているスタンダードなスクリプトと
数百倍の実行速度差は、ちょっとどうかと思ったまで
あなたの回答はいつも興味深くそして面白い

Answer 2

GAWK のみで行うなら

BEGIN {
	RS = "]]";
}

# sed&awkプログラミング13章"transpose-行列の転置"参照のこと
{
	for (i = 3; i <= NF; i++) {
		if (pos = match($i, /[^[]]+/)) {
			if (ssv[i] == "") ssv[i] = substr($i, pos, RLENGTH);
			else ssv[i] = ssv[i] " " substr($i, pos, RLENGTH);
		}
	}
	if (NR % 3 == 0) {
		PROCINFO["sorted_in"] = "@ind_num_asc";
		for (i in ssv) print ssv[i];
		print "";
		delete ssv;
	}
}

# 最後のデータセットが3の倍数でない場合 残りを吐き出す
END {
	PROCINFO["sorted_in"] = "@ind_num_asc";
	for (i in ssv) print ssv[i];
}

配列添字iについて
初期値3からインクリメントされていくので、
PROCINFOによるソートは必要ないかもしれません。

result

111 444 777
22 55 88
33 66 99

12 90 24
34 23 56
56 45 76
78 67 85

Answer 3

次のようなアプローチで処理してみました。

1. text ごとに1行にまとめる
2. [, ] を取り除く
3. 3行ごとに空行を挟む

$ awk -f sample.awk text1.txt | tr -d '[]' | awk 'NR % 3 == 1 && NR != 1 {print ""} {print}'

text ごとに1行にまとめる sample.awk の内容は次のようになります。

/^text/ {
  # 配列 xs の内容を空白区切りで出力する
  for (i in xs) {
    if (i != length(xs) - 1) ORS=" "
    else ORS="\n"
    print xs[i]
  }

  # 配列 xs をクリア
  split("", xs)

  # text で始まる行は末尾フィールドのみ配列 xs に追加する
  i=0;xs[i]=$NF
  next
}

# text で始まらない行は配列 xs にその内容を追加する
{xs[++i]=$0}

END {
  # 最後の text を出力する
  for (i in xs) {
    if (i != length(xs) - 1) ORS=" "
    else ORS="\n"
    print xs[i]
  }
}

Comments

[kit494way]

text2.txt のように転置できてませんでした。無視してください。すみません。

[otn]

質問を読み違えてます。

[kit494way]

はい。すみませんでした。

Answer 4

cat text1.txt | sed -e "N;N;s/\n//g" | sed -e "s/^text : [[//" | sed -e "s/][/ /g" | sed -e "s/]]$//" > text2.txt

Comments

[otn]

質問を読み違えてます。