順番に正規表現の処理（置換）をしたいです。

Question

###正規表現処理を順番にしていきたいです。
0000.jsonl~2900.jsonlのテキストファイルがあり、ファイル一つずつに正規表現を使って置換をしなければなりません。

あまりの膨大な量のデータなので、grepを用いても全てのファイルを一括で置換することはできないでの、一つずつ順番に0000.jsonlの処理を終えたら0001.jsonlの処理という風に最後の2900.jsonlまで順番に正規表現処理をしたいです。

ちなみに正規表現処理というのは、コーパスファイルを扱っているのですが、各ファイルの中のタグだけを抽出するため、タグ以外の部分を検索し、その部分を""に（つまり空白）置換しようとしています。
環境はMacで、python,perlなどを使っております。
何かヒントだけでもいただけないでしょうか？

Comments

[taktaktak]

「あまりの膨大な量のデータなので、全てのファイルを一括で置換することはできず」とのことですが、 具体的に何を使ってどう処理しようして、できなかったのでしょうか？　具体的に何をどう置き換えたいのかも不明ですが、ターミナルからgrepコマンドでも置き換えできるんじゃないでしょうか。

[yoyoyo0205]

コーパスファイルを扱っているのですが、各ファイルの中のタグだけを抽出するため、タグ以外の部分を検索し、その部分を""に（つまり空白）置換しようとしています。grepコマンドではパソコンがオーバーヒートしてしまうため、ファイル１つずつ順番に処理していく方向で行きたいと考えております。

[退会済みユーザー]

grepコマンドもひとつづつ処理してますよ（並行処理ではない）

[yoyoyo0205]

asahina1979さん、コメントありがとうございます。自分の知識不足なので、コメントありがたいです。おそらく扱うファイルの量の大きさとパソコンのスペックも関係があるかもしれません。量を分割してやってみるなど取り組みたいと思います。

Answer 1

こんな感じで一ファイルずつ処理すればいいかと思います。

for file in *jsonl
do
正規表現処理
done

Comments

[yoyoyo0205]

ありがとうございます！試してみます。