csvファイルを列毎に置換したい

Question

Excelにcsvのデータを張り付けし、VBAで列毎に置換していますが、行数と列数が多く時間がかかっているので他の方法に切り替えようと考えています。
Cygwinでawkコマンドを使用しましたが、全体文字列置換と列毎への複数回文字列置換の方法がわかりませんでした。ご教授いただけませんでしょうか。
環境はWindows10です。
*他に効率のいいやり方等があればawkでなくてもいいです。

■置換前（サンプルデータ）
['チョコレート （2500）', ' 3,010(20/10/27 10:00)'

■置換後（サンプルデータ）
チョコレート,2500,3010,2020/10/27,10:00

置換処理は、下記の通りでお願いします。
◆全体処理
・[ を削除
・’ を削除
・4桁以上の数字に含まれるカンマを削除
◆一列目
・ （ を , に置換
・） を削除
◆二列目
・(yy/mm/dd hh:ss) を ,yyyy/mm/dd,hh:ss に置換

Comments

[melian]

効率が良いかどうかは判りませんが、perl でもよいですか？

[GQ8crpki5n4Gu62]

情報提供していただけるのであればよろしくお願いいたします。

Answer 1

とほほのAWK入門、特に正規表現あたりを読めば、簡単に作れます。

一行で書けますので、しっかり勉強して下さい。

Answer 2

入出力の文字コードは UTF-8(BOMなし)です。そのため、このスクリプトで処理した CSV ファイルを Excel で読み込むと問題が発生するでしょう。

replace.pl

#!/usr/bin/perl

use strict;
use warnings;
use utf8;

binmode STDIN,  ":utf8";
binmode STDOUT, ":utf8";

## print chr(65279); # UTF-8 with BOM
while (<>){
  chomp;
  s/\d{1,3}(,\d{3})+/my $x=$&;$x=~s:,::g;$x/ge;
  s/\s*[)）[']\s*//g;
  s/\s*[(（]\s*/,/g;
  print "$_\n";
}

$ echo "['チョコレート （2500）', ' 13,010(20/10/27 10:00)'" | ./replace.pl 
チョコレート,2500,13010,20/10/27 10:00

Comments

[GQ8crpki5n4Gu62]

Perlのコード提供ありがとうございます。
提示いただいたコードは、ファイル全体に対して置換する内容ではないでしょうか。
実際に処理を行おうとしているファイルの列数は50以上あり、全てをパターン化できない可能性があるため、列毎に置換したいです。

[melian]

情報提供はしましたので後はご自身でお考えください。

[GQ8crpki5n4Gu62]

情報提供ありがとうございます。

Answer 3

残念ながら、ここではコード作成依頼は受け付けておりません。

まずはあなたなりにコードを書いてみましょう。
そのうえで、わからないことがあればそのコードとともに聞いていただければお答えできるかと思います

Comments

[GQ8crpki5n4Gu62]

回答ありがとうございます。
失礼しました。試した内容を記載します。
ターミナルで下記コマンドを実行しましたが記載内容が正しくないため、置換前のテキストが表示されました。
■入力１
　cat test.txt | awk 'BEGIN{FS=",";OFS="\t"}{gsub(/(^'\['\x27)(.+)( （)([:digit:]{4})(）)(\x27)/, "\1,\3", $1);print $1}'
■表示結果１
　['チョコレート （2500）'

下記コマンドで冒頭の「['」は、検索条件にヒットしていることを確認しました。
■入力２
　cat test.txt | awk 'BEGIN{FS=",";OFS="\t"}{gsub(/(^'\['\x27)/, "\0", $1);print $1}'
■表示結果２
　チョコレート （2500）'

「チョコレート」という文字列に対して、どのような記載をすればいいかわかりませんでした。
ご教授お願いします。
また、列毎に対しての置換処理についても併せて教えていただきたいです。