shellスクリプトに記載したsedコマンドでの "}" (中括弧)入力について

Question

###前提・実現したいこと
linuxのシェルスクリプトでsedコマンドを使用した処理を記載しているのですが思ったような出力にならずに悩んでいます。

###発生している問題・エラーメッセージ
最終的なアウトプットとして、以下のような形式でファイルを作成したいと考えています。
希望する出力例：

subnet:
- { "name": "RDS-SBNET02", "address": "172.16.2.192/26", "nsg_name": RDS-NSG }

しかしながら、自分が作成したshellスクリプト(「該当のソースコード」で引用)では現状、以下のような出力になってしまいます。

subnet:
 }  { "name": "RDS-SBNET02", "address": "172.16.2.192/26", "nsg_name": RDS-NSG

###該当のソースコード

#!/bin/bash

CSVFILE=edit_NW_vars_preparation.txt
OUTPUTFILE=common_vars_preparation.yml

cp edit_common_vars_preparation.yml ${OUTPUTFILE}
sed -i -e "/^nsg_name:*/a subnet:" ${OUTPUTFILE}

for line in `cat ${CSVFILE} | grep -v ^#`
do
  subnet_name=`echo ${line} | cut -d ',' -f 1`
  subnet_address=`echo ${line} | cut -d ',' -f 2`
  subnet_nsg=`echo ${line} | cut -d ',' -f 3`
  sed -i -e "/subnet:/a \  - \{ \"name\": \"${subnet_name}\", \"address\": \"${subnet_address}\", \"nsg_name\": ${subnet_nsg} \} " ${OUTPUTFILE}
done

上記sedコマンドの中で、最後に記載する } を \ でエスケープしているのですが、この処理が意図したように働いてくれずに困っています。以下の部分です。
sed -i -e "/subnet:/a \ - { "name": "${subnet_name}", "address": "${subnet_address}", "nsg_name": ${subnet_nsg} }" ${OUTPUTFILE}

sedコマンドについて、どのように記載すれば「希望する出力例：」のような出力にすることができるでしょうか？

###試したこと
①shellスクリプトのsedを以下のように入力した場合

sed -i -e "/subnet:/a \  - \{ \"name\": \"${subnet_name}\", \"address\": \"${subnet_address}\", \"nsg_name\": ${subnet_nsg} " ${OUTPUTFILE}

①出力は以下のようになります

- { "name": "RDS-SBNET02", "address": "172.16.2.192/26", "nsg_name": RDS-NSG

②shellスクリプトのsedを以下のように入力した場合

sed -i -e "/subnet:/a \  - \{ \"name\": \"${subnet_name}\", \"address\": \"${subnet_address}\", \"nsg_name\": ${subnet_nsg} \}" ${OUTPUTFILE}

②出力は以下のようになります

 }- { "name": "RDS-SBNET02", "address": "172.16.2.192/26", "nsg_name": RDS-NSG

①の出力結果の最後に、 } を付与して「希望する出力例」のような形にする、というのが実現したいことです。（何故②のような出力になってしまうのかが解っていない状態です）

よろしくお願いします。

Answer 1

現象から見てありそうなのは、CSVFILEの改行が\nでなく\r\nになっている。

そのため、$subnet_nsgの末尾に\rがあり、catするとそこで行頭に戻ってしまっている。
ファイルの中身をcat -vすると^Mつまり\rが入っているのが分かると思います。

改行コードを\nにしてください。
tr -d '\r' < edit_NW_vars_preparation.txt > edit_NW_vars_preparation_corrected.txt

なお、{ }は正規表現の特殊文字ですが、挿入テキストの特殊文字じゃ無いので、\の前置は不要です。

Comments

[tsuchiwalk]

改行コードが原因でした。大変助かりました。

もし、可能であれば、以下教えてください。
＞そのため、$subnet_nsgの末尾に\rがあり、catするとそこで行頭に戻ってしまっている
というところが理解できておらず、「行頭に戻る」とはどういうことでしょうか？

[otn]

\r (CR) は「カーソル位置を行頭に戻す」という制御コードです。

サンプル：
for ((i=1; i<100; i++))
do sleep 1
echo -n $i
if (( i % 10 == 0 ))
then echo -ne '\r'
fi
done

[tsuchiwalk]

な、なるほど。。。
＞ファイルの中身をcat -vすると^Mつまり\rが入っているのが分かると思います。
まさにその通りでした。

また、サンプルが非常にわかりやすかったです。ありがとうございました。

Answer 2

多分、-が\-だと思います。

【FYI】
正規表現でエスケープが必要な文字一覧表

---

テスト結果

テスト環境（２台で実施）
AmazonLinux（en_US.UTF-8）
CentOS6（ja_JP.UTF-8）

#!/bin/bash
CSVFILE=/tmp/csv
OUTPUTFILE=/tmp/test
for line in `cat ${CSVFILE} | grep -v ^#`
do
  subnet_name=`echo ${line} | cut -d ',' -f 1`
  subnet_address=`echo ${line} | cut -d ',' -f 2`
  subnet_nsg=`echo ${line} | cut -d ',' -f 3`
  sed -i -e "/subnet:/a \ \- \{ \"name\": \"${subnet_name}\", \"address\": \"${subnet_address}\", \"nsg_name\": ${subnet_nsg} \} " ${OUTPUTFILE}
done

/tmp/csv　（EOFに改行を２つ入れています）

RDS-SBNET01,172.16.2.192/26,RDS-NSG
#RDS-SBNET02,172.16.2.192/26,RDS-NSG
RDS-SBNET03,172.16.2.192/26,RDS-NSG
RDS-SBNET04,172.16.2.192/26,RDS-NSG

RDS-SBNET05,172.16.2.192/26,RDS-NSG

/tmp/test

subnet:

結果

subnet:
 - { "name": "RDS-SBNET05", "address": "172.16.2.192/26", "nsg_name": RDS-NSG }
 - { "name": "RDS-SBNET04", "address": "172.16.2.192/26", "nsg_name": RDS-NSG }
 - { "name": "RDS-SBNET03", "address": "172.16.2.192/26", "nsg_name": RDS-NSG }
 - { "name": "RDS-SBNET01", "address": "172.16.2.192/26", "nsg_name": RDS-NSG }

Comments

[tsuchiwalk]

回答ありがとうございます！- をエスケープしてみたのですが、結果は変わらないようでした。。。
（ - の前には空白を挿入したい為に、\□（円マークスペース）を使用しています ）

■記載内容
sed -i -e "/subnet:/a \ \- \{ \"name\": \"${subnet_name}\", \"address\": \"${subnet_address}\", \"nsg_name\": ${subnet_nsg} \}" ${OUTPUTFILE}

■出力結果
}- { "name": "RDS-SBNET02", "address": "172.16.2.192/26", "nsg_name": RDS-NSG

↑何故か、行の先頭に { が追加されてしまいます。。

[lazhuward]

差し支えなければ、インプットしている　${OUTPUTFILE}　の中身を教えてください。
こちらでテストしましたが、正確に動きますね。
キャラセットは何ですか？改行コードはLFにしてますか？

[tsuchiwalk]

ご指摘のとおり、改行コードが原因でした。検証までしていただきありがとうございます。