sed (GNU sed) 4.2.2の正規表現

Question

例えばhtml内に<h1></h1>タグがあるのですが

sample.html
<h1> Ａａ（）かなカナ漢字１２３Aa()123ｶﾀｶﾅ </h1> 

<h1>

全角スペース
全角アルファベッド（大文字小文字）
全角記号
全角かな
全角カナ
全角漢字
全角数字

半角アルファベッド （大文字小文字）
半角記号
半角数字
半角カタカナ
半角スペース

</h1>

が含まれているタグ内文字列があります。

---

やりたいことは

・全角スペースを半角スペースに変換
・全角アルファベッドを半角アルファベッドに変換 （大文字小文字）
・全角記号を半角記号に変換
・全角数字を半角数字に変換
・半角カナを全角カナに変換

・ 全角かな 全角カナ 全角漢字 はそのまま。

---

結果

sample2.html
<h1> Aa123()かなカナ漢字</h1> 

<h1>

半角スペース
半角アルファベッド （大文字小文字）
半角数字
半角記号

全角かな
全角カナ
全角漢字

</h1>

---

そして半角スペースはそのままで

半角アルファベッド （大文字小文字）
半角数字
半角記号

を削除したいです。

---

結果

sample3.html
<h1> かなカナ漢字</h1> 

<h1>

半角スペースが残る
全角かな
全角カナ
全角漢字

</h1>

---

sed (GNU sed) 4.2.2を使って正規表現で
このようにするにはどうしたらいいでしょうか？

Answer 1

nkfという全角半角をうまくやってくれるコマンドがあるので、前半はsedでなくそれを使うと良いでしょう(よくあるニーズなのでそれにあったコマンドがある)。

・半角片仮名→全角片仮名
・全角英数字→半角英数字
・全角記号（同じ文字が半角にある物）→半角記号
・全角空白→半角空白
となります。対応する半角記号がない全角記号はそのままです（※とか）。
文字コードがutf-8だとすると、

nkf -Wwm0 -Z1 入力ファイル |    #上記変換
sed 's/[!-~]//g'                #半角記号・英数字の削除

Answer 2

GNU sedの実行のしかたについては以前のご質問の回答も参照してください。

• 「記号」についてはどういうものを想定しているのかはっきりわからないので、以下の回答でははぶきます。

実際にスクリプトを書くときは、処理対象になる文字を文字種毎にもれなく書き出しておいてからはじめたほうがいいとおもいます。

1. 文字種の変換

対象の文字をもれなく置換すればいいと思います。

GNU sedでマルチバイト文字処理が無効の場合:

s/０/0/g
s/１/1/g
…中略…
s/９/9/g
s/Ａ/A/g
…中略…
s/Ｚ/Z/g
…後略…

GNU sedでマルチバイト文字処理が有効の場合:

y/０１２３４５６７８９ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ/0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz/

1.1. 文字毎の置換ですまない場合

半角形の片仮名については、濁点・半濁点の処理が必要なので文字毎の置き換えだけではできませんね。濁点・半濁点を含む置き換えをひとつひとつやってから、文字毎の置き換えをすればいいでしょう。

s/ｶﾞ/ガ/g
…中略…
s/ﾎﾞ/ボ/g
s/ﾊﾟ/パ/g
…中略…
s/ﾎﾟ/ポ/g
s/ｳﾞ/ヴ/g
…このあと、残りの半角形の文字を文字毎に置き換え

2. 文字種による削除

前の「文字種の変換」では「<h1>」や「</h1>」に含まれる文字は変換の対象でなかったので気にしなくてよかったのですが、今度は削除の対象となる文字が含まれるので気にしなければいけません。

たとえば次のようにすれば、「<h1>」や「</h1>」は残したまま、その間に現れる半角英数字を削除できそうです (繰り返しになりますが、半角の「記号」の削除処理ははぶいています)。

:loop
s|\(<h1>.*\)[0-9A-Za-z][0-9A-Za-z]*\(.*</h1>\)|\1\2|
tloop

• 「:」、「t」の意味はsedのマニュアルを見て下さい。
• 「s」については通常、パターンや置換結果の前後を「/」で囲みますが、ここでは「|」を使っています。

Answer 3

出来なくはないですが、sed単体でやるレベルの話ではないと思います。
ひとまず仕様を整理すると

・全角スペース →半角スペース →残す
・全角アルファベッド →半角アルファベッド →削除
・全角記号 →半角記号 →削除
・全角数字 →半角数字 →削除
・半角カナ →全角カナ →残す
・全角かな →全角かな →残す

ですので、まずは削除する系を走らせる。

・全角/半角アルファベットを削除

cat sed.txt | sed -e 's/[a-zａ-ｚ]//ig'

・全角/半角数字を削除

cat sed.txt | sed -e 's/[0-9０-９]//ig'

・全角/半角記号を削除

cat sed.txt | sed -e 's/[、-○]//ig'

で、変換系
・全角かな
※何もしない
・全角スペースを半角に

cat sed.txt | sed -e 's/ / /ig'

・半角カナを全角カナに

cat sed.txt | sed "s/ｱ/ア/ig"
cat sed.txt | sed "s/ｲ/イ/ig"
・・・

以上のような形で、多分できなくはないですが、やりたくない感じになりますね。。

半角→全角とかは、例えばpythonではmojimojiというライブラリがあって

mojimoji.han_to_zen(u'文字')

とすると、半角文字を全部全角にしてくれたりと簡単に実現できます。
シェルスクリプト内でpythonを呼び出したりすることも出来るので、そういった使い方を検討されると良いかと思います。