Python reモジュールの正規表現

Question

reモジュールを使って下記を正規表現したいのですが、ご教授ください。

あるcsvを読み込み。
1レコード10カラムのデータとします。
8カラム目以降は空白に置換したいです。
8カラム目移行は値がある場合とない場合が存在します。

例
1,2,3,4,5,6,7,8,9,10⇒1,2,3,4,5,6,7

1,2,3,4,5,6,7,,,⇒1,2,3,4,5,6,7

みたいな感じで置換したいと考えています。
数値以外の文字が入る場合もありますが、「,」は入りません。

下記で一括置換できないでしょうか。

ファイル一気に読込
with open(file_path) as file:
    data_lines = file.read()


#1,2,3,4,5,6,7,8,9,10⇒1,2,3,4,5,6,7,8,9,10
#1,2,3,4,5,6,7,,,⇒1,2,3,4,5,6,7
data_lines = data_lines.replace(",,,", "")
# 1,2,3,4,5,6,7,8,9,10 を　1,2,3,4,5,6,7にしたい。
data_lines = data_lines.replace("ここで何かしらの正規表現", "")

Comments

[ppaul]

splitしてjoinすれば簡単ですが、なぜ正規表尾源でやりたいのですか？

[yositigu]

上記方法も考えたのですが、1行ずつ処理をすると時間がかかってしまいました。
全レコード読み込んで、正規表現で一括置換できないか知りたい次第です。

[TakaiY]

正規表現を使っても一括変換はできませんよ？
一括っぽくやりたいのであれば、 pandas のDataFrameで処理とかでしょうか。

[yositigu]

質問を修正しました。このreplaceを使った方法で、できないでしょうか？

[ppaul]

そういう理由なら、正規表現を知りたいという質問ではなく、置き換え処理を高速化したいという質問にした方が、良い回答が得られるでしょう。
全ファイルを読み込んでreplaceすると、Pythonの処理ロジックではメモリ割当てあたりがネックになるでしょうね。

Answer 1

re.sub()を使って、複数行を一度に置換する場合は、flagsにre.MULTILINEをセットしたらよいです。

import re

txt = '''1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,,,'''

txt2 = re.sub(',[^,]*,[^,]*,[^,]*$', '', txt, flags=re.MULTILINE)
# 下記の正規表現でもよいです。
# txt2 = re.sub('(,[^,]*){3}$', '', txt, flags=re.MULTILINE)

print(txt2)
#1,2,3,4,5,6,7
#1,2,3,4,5,6,7

Answer 2

一応、これでも使えるでしょうか？

>>> import re
>>>
>>> txt1 = "1,2,3,4,5,6,7,8,9,10"
>>> txt2 = "1,2,3,4,5,6,7,,,"
>>> print(re.match(r"([^,]*,){6}[^,]*", txt1).group())
1,2,3,4,5,6,7
>>> print(re.match(r"([^,]*,){6}[^,]*", txt2).group())
1,2,3,4,5,6,7

Pythonにこだわらないなら、awkが速いでしょう。

awk -F',' -v 'OFS=,' '{print $1,$2,$3,$4,$5,$6,$7}' in.csv >out.csv

Comments

[yositigu]

ありがとうございます。
re関数がよくわかっておらず、恐縮ですが、
re.sub(正規表現、‘’, 全レコードデータの変数)を使う場合、どのようになりますか？

[yositigu]

これだと、1行ずつ取り出さないといけなくなってしまい、処理時間がかかりそうな気がします。

[ppaul]

気がするというのは、性能を考えるときにはあてになりません。
測定してみてください。
全部を読み込むことによる性能低下というのもあるのです。

Pythonにこだわらないなら。awkあたりを使った方が高速でしょう。
回答に追加しておきますので参考にしてください。