シェルで特定の文字削除

Question

前提・実現したいこと

ツイッターのデータ分析のために文章からシェルを使い余計な文字を削除したい

発生している問題・エラーメッセージ

sedで発生するメッセージ

sed: -e expression #1, char 12: unterminated `s' command

該当のソースコード

file=$(grep -Eo "((?)http(s?)://(\w|:|%|#|$|&|?|(|)|~|.|=|+|\-|\…|/)+" 000724.txt)
sed -i 's"$file"/ /g' 000724.txt

trでやってみた

出力先のファイルで文字化けが起きる

補足情報

ubuntu20.04

Answer 1

sedのsサブコマンドは、s 区切り文字 置換対象 区切り文字 置換後 区切り文字という指定をします。
's"$file"/ /g' 0だと、sの直後が"なので区切り文字が"とみなされますが、3つめの区切り文字が無いというのがエラーメッセージの示す内容です。

変数fileを展開したければ'でなく"で囲みます。
また、区切り文字は、置換対象や置換後を表す文字の中に無い文字を使う必要がある(注)ので、'を使うことにすると、

file=$(grep -Eo "((?)http(s?)://(\w|:|%|#|$|&|?|(|)|~|.|=|+|\-|\…|/)+" 000724.txt)
sed -i "s'$file' 'g" 000724.txt

また、1文字の「または」は、普通は文字クラスで書きます。さらに無意味な括弧を除くと、

file=$(grep -Eo '(?https?://[[:alnum:]_:%#$&?()~.=+/-]+' 000724.txt)

あと、grepで2つ以上URLが見つかった場合、sedが期待通りの動作をしないと思いますが、そこは大丈夫でしょうか？

grepとsedで同じファイルが対象なら、sedのみで実行するのが良いと思います。

注：置換対象や置換後の文字列内ではエスケープすれば区切り文字は使用可能

Comments

[Kanayamatinu]

sedが動かなかったのはgrepで二つ以上見つかったからのようです。
ありがとうございました

Answer 2

回りくどいことをせず普通にsedを使えばいいのではないでしょうか。

sed -i.bak 's|https?://[-\w:%#$&?()~.=+…]+||g' 000724.txt

Answer 3

一部だけ切り取って実行してみました。

> echo 's"$file"/ /g'
s"$file"/ /g

$fileが展開されず、まんまだから、sed: -e expression #1, char 12: unterminated s' command