シェルにおける全角を半角にする方法(1)

Question

シェルでcsvの特定の列が全角から半角に置き換えるシェルスクリプトを作成していましたがここで問題が発生まずスクリプトは以下のようになります。

①

#!/bin/bash


echo 'start'
while read line 
 do
  
 echo ${line} | sed 'y/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ０１２３４５６７８９/abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789/'

done</tmp/test2.csv

対象のcsvは以下のようになります。

Ａ,Ｂ,Ｃ,Ｄ,Ｅ,Ｆ

このシェルを実行すると
char 190:`y'コマンドに対する文字列の長さが異なります

というエラーが表示されます。

②
さらにシェルではなく直接コマンドプロンプト上から、以下のようにコマンドを実行しました。

cat /tmp/test2.csv | sed 'y/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ０１２３４５６７８９/abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789/'

すると実行結果は

`,a,b,c,d,e

と表示されました。
あれーと思い
viコマンドで対象となるcsvを調べてみるとこんなことになっていました。

<82>`,<82>a,<82>b,<82>c,<82>d,<82>e

なんですかこれ
windwosパソコン上でcsvを作った時は「Ａ,Ｂ,Ｃ,Ｄ,Ｅ,Ｆ」だったのにlinuxはこんな使用何ですか？

こういう場合にはどうやって半角を全角にしたらよろしいでしょうか？

まとめます
①全角から半角に書き換えるコマンドがうまくいかない
sed 'y/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ０１２３４５６７８９/abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789/'

②linux上で半角を全角に置き換えるシェルをどのように作成すればいいか？

以上です。
どなたかおわかりの方いらっしゃいますでしょうか？

Answer 1

文字コードには、いろいろ種類があることを認識しましょう。

初心者が Linuxで作業するなら、utf-8に全部統一するのが簡単です。
Windows上でファイルを作るときもutf-8で作りましょう。普通のエディタならWindows標準のメモ帳も含めてUTF-8で保存出来ます。

ファイルを全てutf-8で作れば解決します。