正規表現を使ったreplace処理

Question

正規表現を使ってreplace処理を実現したいのですが、ご教授頂けないでしょうか。

修正前

def convert(tmp_file_path):
    try:
        with open(tmp_file_path, encoding='utf-8') as file:
            insert_info = next(file)
            data_lines = file.read()
        # 文字列置換
        data_lines = data_lines.replace(",,,,,,,,", "")

上記は　

AAAA, BBB,,,,,,,,

というレコードを

AAAA, BBB

に置換する処理です。　

これを下記にも対応できるようにしたいです。
※BBBのあと2カラム(CCCCとDDDDのところ)に任意の値が入ります。

AAAA, BBB,CCCC,DDDD,,,,,,
や
AAAA, BBB,1234,9876,,,,,,
や
AAAA, BBB,,ZZZZ,,,,,,

などのデータが来た時に

AAAA, BBB

に置換するようにしたいです。

追記

仕様の説明が不足していたため追記します。

任意の文字列1,任意の文字列2,任意の文字列3,,,,,,

というデータを

任意の文字列1

にしたいと考えています。

Comments

[68user]

詳細な仕様の追記、ありがとうございます。
「任意の文字列1,任意の文字列2,任意の文字列3,,,,,,」というデータの出力結果については理解しましたが、
「任意の文字列1,任意の文字列2,任意の文字列3,,,,,,」というデータで *ない* 場合の出力結果はどうあるべきですか?

また、「任意の文字列1,任意の文字2,任意の文字列3,,,,,,」の「任意の文字列」とは 1文字以上ということですか? 0文字も含みますか? 任意の文字がカンマそのものであった場合はどうなりますか?

さらに入力データはカラム数 9 の CSV と見受けられますが、カラム数が多い、または少ない場合のパターンはどうなりますか?

[yositigu]

はい、入力データはカラム数 9 の CSV になります。

「任意の文字列1,任意の文字列2,任意の文字列3,,,,,,」というデータで *ない* 場合の出力結果
⇒CSVには少なくとも1レコード以上のデータが存在する前提でお願い致します。

「任意の文字列」は0文字の可能性もあります。
任意の文字はカンマ以外とさせてください。
カラム数が多い少ないといったことも起きない想定でお願い致します。

[68user]

例えば
AAA,BBB,CCC,DDD,,,,,
は
任意の文字列1,任意の文字列2,任意の文字列3,,,,,,
に合致しませんが (第4カラムに文字列が入っているため)、そのようなデータはないという前提でしょうか?

[68user]

つまり、「任意の文字列1,任意の文字列2,任意の文字列3,,,,,,」の場合は理解しましたが、「そうでない場合」はありえない、と考えてよいかを確認したいです。

[yositigu]

すみません。混乱してしまいました。
正確には
任意の文字列1,任意の文字列2,・・・・・,任意の文字列29,CCC,DDD,,,,,
を
任意の文字列1,任意の文字列2,・・・・・,任意の文字列29
としたい。というのが本当にやりたいことです。
任意の文字列1~29を任意の文字列1としてまとめて記載してしまっておりました。

[68user]

任意の文字列30が"CCC"で、任意の文字列が"DDD"の場合、そのようにするという意味でしょうか。
あるいは
任意の文字列30と31の両方に1文字以上の任意文字列が入っている場合、そのようにするという意味でしょうか。

また、いずれの意味であっても、それに合致しない場合はどうするべきなのでしょうか。

[yositigu]

任意の文字列1,任意の文字列2,・・・・・,任意の文字列29,任意の文字列30,任意の文字列31,,,,,
を
任意の文字列1,任意の文字列2,・・・・・,任意の文字列29
にしたいです。

[68user]

つまり、 任意の文字列30と31の両方に1文字以上の任意文字列が入っている場合、そのようにするという意味ですね。

で、その条件に合致しない場合はどうするべきでしょうか。
そのようなケースはありえない? あるいはそのまま出力する?

[yositigu]

任意の文字列30と31は０文字の場合もあり得ます。
条件に合致しない場合はありえない想定でお願いいたします。

[68user]

> 任意の文字列30と31は０文字の場合もあり得ます。
となると、
任意の文字列1,任意の文字列2,・・・・・,任意の文字列29,,,,,,,
も条件に合致するので (0文字もありえるので)、
任意の文字列1,任意の文字列2,・・・・・,任意の文字列29
になってしまいますが、それでよいのでしょうか?

それはつまり「常に任意の文字列29 以降のカラムを削除する」と同じな気がしますが、正しいでしょうか?

[yositigu]

説明が下手ですみません。
「常に任意の文字列29 以降のカラムを削除する」
であっています。

[68user]

であれば、わたしが先日提示した
> print(columns[0] + ', ' + columns[1])
を
print(columns[0] + ',' + (略) + ',' + columns[28])
などとすれば OK です (0番目から 28番目までの 29個)。

他の皆様のコードも、数を変えたり増やしたりという点では同じです。

[Daregada]

仕様が追記され、しかもココ(質問への追記依頼)を読むと、その仕様の記述が間違っている(実際には「常に任意の文字列29 以降のカラムを削除する」のですよね?)んですが、質問文の追記部分を修正してもらえませんかね。

元の質問に合わせるとすれば、「任意の文字列1,任意の文字列2」を残し、「常に任意の文字列3以降のカラムを削除する」になるのかな。

あと、「入力データでカンマの後に空白が入るのか入らないのか、どちらもあり得るのか」、「出力データではカンマの後に空白を付けるのか付けないのか」もはっきり記述してほしかった。

> 任意の文字列1~29を任意の文字列1としてまとめて記載してしまっておりました。
えっと、これで相手に通じると思っていたのかな。

Answer 1

「正規表現を使う」以外の要件を満たしました。

buf="""AAAA, BBB,,,,,,,,
AAAA, BBB,CCCC,DDDD,,,,,,
AAAA, BBB,1234,9876,,,,,,
AAAA, BBB,,ZZZZ,,,,,,"""

for line in buf.split('\n'):
   columns = line.split(',')
   print(columns[0] + ', ' + columns[1])

結果

AAAA,  BBB
AAAA,  BBB
AAAA,  BBB
AAAA,  BBB

Comments

[68user]

あ、余計なスペースが増えてしまった！

Answer 2

subはreplace なのだろうか。

>>> import re
>>> a='AAAA, BBB,CCCC,DDDD,,,,,,'
>>> print(re.sub('(?<=AAAA, BBB).*', '', a))
AAAA, BBB

そうだ、ごまかそう。

>>> import re
>>> replace = re.sub
>>> a='AAAA, BBB,CCCC,DDDD,,,,,,'
>>> print(replace('(?<=AAAA, BBB).*', '', a))
AAAA, BBB

Answer 3

正規表現使わずにpadas使う奴。

import pandas as pd
import io

txt = """AAAA, BBB,,,,,,,,
AAAA, BBB,CCCC,DDDD,,,,,,
AAAA, BBB,1234,9876,,,,,,
AAAA, BBB,,ZZZZ,,,,,,"""

df = pd.read_csv(io.StringIO(txt), skipinitialspace=True, header=None)
df = df.drop(columns=list(range(2, len(df.columns))))
buf = io.StringIO()
df.to_csv(buf, header=None, index=None)
print(buf.getvalue().replace(",", ", "))

AAAA, BBB
AAAA, BBB
AAAA, BBB
AAAA, BBB

Comments

[Daregada]

一応、replaceは使ってる(苦しい)。

Answer 4

正規表現使うやつ
要件がほとんどわからないので、68userさんと同様最初の2カラムだけ表示する仕様

import re

buf="""AAAA, BBB,,,,,,,,
AAAA, BBB,CCCC,DDDD,,,,,,
AAAA, BBB,1234,9876,,,,,,
AAAA, BBB,,ZZZZ,,,,,,"""

for line in buf.split('\n'):
    m = re.match(r'^([^,]+,[^,]+)', line)
    if m:
        print(m.groups()[0])
        

Comments

[TakaiY]

でも、replaceじゃなかった。