【シェルスクリプト】CRLFとLFが混在するファイルのLFのみ変換

Question

タイトルの通り
CRLFとLFが混在するファイルのLFのみ文字に変換する方法についてご教示ください。

環境はLinuxになります

改行をそれぞれ
[¥n]...LF
[¥r¥n]...CRLF

【対象ファイル名】
Test.csv

【内容】
aaaa,bbbb,”1234[¥n]
5678[¥n]
9123”,cccc[¥r¥n]

【理想の出力結果】
aaaa,bbbb,”1234;5678;9123”,cccc[¥r¥n]

【試したコマンドと実行結果】
cat Test.csv | tr ‘¥n’ ‘;’

aaaa,bbbb,”1234;5678;9123”,cccc[¥r]
;

Answer 1

要するに\rが先行しない\nを削除すればいいわけですね。正規表現の後読み言明が利用できそうです。

perl -pe 's/(?<!\r)\n//' < input.txt > output.txt

追記:　コメントでのご指摘を受けて修正。

perl -pe 's/(?<!\r)\n/;/' < input.txt > output.txt

Comments

[Daregada]

理想の出力結果を見るに、「\rが先行しない\nを;に置換」じゃないかな。

Answer 2

otnさん有り難うございます。
当初の目論見とは全然違う方向で解決したみたいです。

echo $'aa\nbb\r' | awk -v RS='\r\n' -v ORS='\r\n' '{gsub( "\n", ";", $0); print $0}' | sed '$d' | cat -v

aa;bb^M

いやはや、何事も勉強ですが・・・なんだかなあ。

Comments

[otn]

これは全然駄目ですね。
xargs が読んだ物は、sedの入力ファイル名の位置に来る。

[hana_yama_san]

それは修正前の物では？
完全な検証は出来ないですが、
今部分的に徐々に検証して
ブラッシュアップしております。

[otn]

ああ、やっぱりそういうことがしたかったんですよね。
ただ、
echo $'aa\nbb\r'
レベルで、やっぱり駄目ですが。
これが aa;bbCRLF にならないといけない。
sedだと少なくともパターンスペースを使わないと無理でしょう。

[hana_yama_san]

sedのNとかhやH,G何かも色々考えましたが、
trに-sオプションが有るので救われたかも知れません。

[hana_yama_san]

ひょっとしたらsedの's/\r;/\r\n/'は
's/\r;/\r/' だけで良いかもしれません
（xargs -n 1 が改行を入れているから）

しかしそこまで確認するとなると、本当に
自端末にLF,CRLF混在のテストデータを
用意しないといけなくなります。
windous使っている同居人はおそ帰りのため、
事実上不可能ですし、死ぬほど面倒くさいです。

[otn]

2020/10/02 19:37 の物で言うと、最後のtrで、CRLF が CR; になっちゃいますね。

[otn]

テストは、Bashなら、
echo $'aa\nbb\r' が aa;bbCRLF になるかを、
echo $'aa\nbb\r' | ～～～～ | cat -v
でチェックしましょう。これが最低ラインです。aa;bb^M と表示され、そのあと改行があればOK。

ややひねると、
echo $'a;;a\nb b\n\ncc\r'
とか。

[hana_yama_san]

ご親切に、有り難うございます。
しかし、trの-sがそういう仕様なら、（というか、こちらでも確認しました）
改めて考え直さないといけないです。
sedのホールドスペースとか使うと結局全データを読み込む作りになりそうで、
全然改善案になりませんので。

[hana_yama_san]

いや、今日はこれだけでこのサイトに来た意味がありました。
「+」やベストアンサーを貰うのも悪くはないですが、
こういう勉強が出来るのが、最大の魅力です。
そして、それは質問者で得るのは難しく、
回答者として色々苦しむのが最適です。

Answer 3

データサイズがそんなに大きくなければ、

tr '\n' ';' | sed 's/\r;/\r\n/g'

ファイル全体が一旦１行になるので、サイズによってはsedが処理しきれない可能性があります。

駄目な場合は、sedでもなんとかなるかも知れませんが、awk以上のツールでプログラム的に書くしか無いと思います。

#追記
sedで、CSVの1論理行(CRLF)単位で処理するようにしました。論理行数が多くても大丈夫です。

sed -i -n 'H;/\r$/{s/.//g;x;s/\n/;/g;s/^;//;p}' Test.csv

-iでファイルを直接更新。