perlでの全角文字の置換

Question

当方perl 初心者です。
perlでファイルを読み込んで文字列を置換しようと試みましたが，うまくいきませんでした。
どなたかご教授ください，

やりたいこと
test.txtにある「￥○○○」の数字の羅列の「￥」（全角）を削除したい。

問題
decodeが正しく使えていないのか，「￥」の置換ができない。
なお，スクリプトはutf8で保存している。

teratail2.pl

use strict;
use warnings;
use utf8;
use Encode;

&kaikei("test");

sub kaikei{
my $filename = $_[0];
open (FILE_in ,"<","$filename.txt");

my $str = decode("utf-8","￥");

while(my $line = <FILE_in>){
	chomp($line);
	$line=~ s/$str//;
	print "$line\n";
	}
}

test.txt

￥1000
￥10056
￥946
￥10500
￥5460
￥168860
￥165
￥1000

Answer 1

perlにおいていわゆる全角文字を含む多国語文字列を扱う場合は、すべての対象文字列を「内部コード」に変換して行うのが鉄則です。これの実態は特殊なUTF8コードなのですが、そんなことはどうでもよくて、とにかく「内部コード」というものが重要だと考えてください。

取り込んだ文字列は可及的速やかに内部コード化すること。文字列をコピーしたり一部分切り取ったり置換したりという処理はすべて「内部コード」化した文字列について行うこと。出力する寸前にシフトjisなりutf8なりに変換すること。回りくどく思えても一切例外を作ってはいけません。

use utf8 は、ソースコード中に直接書き込まれた全角文字を「内部コード」として扱うよう宣言するものです。use utf8している以上、"￥"は既に内部コードなので、my $str = decode("utf-8","￥");は要りません。というか使ってはいけません。

ファイルからデータを読み込む際は、いくつか方法がありますが、open関数で適切なオプションを指定してやるのが簡単です。

open(FILE_in ,"<:utf8","$filename.txt");

ひとたび内部コード化されたら、その処理は半角数字やアルファベットを使う時と全く同じに実行してかまいません。

また、内部コード化された文字列を出力する際、そのままprintで出力しようとするとエラーが起こります。ファイルに出力するなら、出力先は次のような感じでopenします。

open(FOUT, ">:utf8", "out.txt");

標準入出力に対してはbinmodeで指定できます。

binmode STDIN, ':utf8';
binmode STDOUT, ':utf8';

シフトjisを使いたいなら次のようになります。

binmode STDIN, ':encoding(cp932)';
binmode STDOUT, ':encoding(cp932)';

注意点はざっとこんな感じです。この基本を押さえ、これ以外の余計なコード変換をしようとか考えないことが重要です。

Comments

[Koh_]

内部コードとして処理するんですね。
ずっと悩んでいた文字コード周りの理解がスッキリしました。
ありがとうございます。