Pythonによる正規表現と文字列置換について

Question

概要

Pythonで正規表現を使った文字列置換をしたいです.

例えば以下のような文字列を

	2.8.0.810?

actionset/group0r
actionset/group0@7053c5addbb064a28cbc26db1b5e003ebb9fa2f9e157d254bf4c792a14cb05b9	2.8.0.810"(ﾖ靺?8ｿ{?

actionset/group1r
actionset/group1@bf696e8a1579e2a8d8067bfef77a2bcffb8724020f9d6f7d9e0821a4f3bc4dbb	2.8.0.810"(ﾅﾖ
8ﾉ|?

こんな風に置換したいです.

https://d2ktlshvcuasnf.cloudfront.net/Release/2.8.0.810/Android/actionset/group0
https://d2ktlshvcuasnf.cloudfront.net/Release/2.8.0.810/Android/actionset/group1

※置換対象の文字列は大量にあるのですが, これと似たような文字列が大量にあるものと考えてください.

このような文字列置換は適当なエディタを使って

置換前『^[^a-z]?(.+)\x{0012}@[0-9a-f]+\x{001A}\x{0009}([\d.]+).+$』
置換後『https://d2ktlshvcuasnf.cloudfront.net/Release/$2/Android/$1』
 
置換前『^(?!(https)).*$』
置換後『』
 
置換前『^[\r\n]』
置換後『』

このように置換をすることができますが, いちいちエディタを起動してコマンドを打つのは億劫ですよね.

実際に書いたコード.遭遇したエラー

そこで, 普段よく使う言語のPythonでこの流れを自動でできないか...と考えて, コードを書いてみました.

import os
import re
import codecs

#文字列内に/が入る(path指定とか)場合rをつけると良い
TXT='file'
URL=r'https://d2ktlshvcuasnf.cloudfront.net/Release/$2/'+str(OS)+'/$1'
f1=r'^[^a-z]?(.+)\x{0012}@[0-9a-f]+\x{001A}\x{0009}([\d.]+).+$'
f2=r'^(?!(https)).*$'
f3='[\n\r]'

print('fileを確認します・・・')

with codecs.open(TXT,"r","utf-8","ignore") as f:
      print('正常に開くことに成功しました')
      txt0=f.read()
      txt1=re.sub(f1,URL,txt0)
      txt2=re.sub(f2,"",txt1)
      newtxt=re.sub(f3,"",txt2)

with open(TXT+'.txt',"w") as f:
    f.write(new_txt)

で,書いてみたはいいものの

re.error: incomplete escape \x at position 12

とエラーが出ます.

これは

f1=r'^[^a-z]?(.+)\x{0012}@[0-9a-f]+\x{001A}\x{0009}([\d.]+).+$'

の手前のほうの\xにエラーを吐いてるとわかるのですが,rをつけるのはエスケープを二重につけなくていいようにしているだけなはずで,いまいち何が原因でエラーを吐いているのかがわかりません.

補足

今回は表題の通り,Pythonで正規表現による文字列置換を行う方法を御教授願いたいです.

知恵を貸していただけないでしょうか.
よろしくお願いします.

Answer 1

自己解決しました.

サクラエディタで同様に置換しようと考えたのが罠で, as fで読んだファイルに対して^で各行置換なんてできるわけがないですよね. as line で読んで適当に整理したらできました. 些細なあれでした.

エディタで置換するのとプログラム上で置換するのは全く別の話だと理解できただけでも良かったかなと思います.

※ちなみに本文では文書の都合上あまり書くことができず誤解を与えてしまって申し訳ないと思うのですが, すべての文字列にactionset/groupがつくわけではないです.

Answer 2

たった一回の置換で全て片付けようとするとかえってややこしいので、一行づつ処理することに。
すると、訳の分からない非英数文字へのマッチングを考えなくても良くなる。

あとは細かい文法上の問題を何箇所か修正すると、こんな感じになりました。

import os
import re
import codecs

#文字列内に/が入る(path指定とか)場合rをつけると良い
OS='Android'
TXT='file'
URL=r'https://d2ktlshvcuasnf.cloudfront.net/Release/$2/'+str(OS)+'/$1'
#f1=r'^[^a-z]?(.+)\x12@[0-9a-f]+\x1A\x09([\d.]+).+$'
#f2=r'^(?!(https)).*$'
#f3='[\n\r]'
f1="https://d2ktlshvcuasnf.cloudfront.net/Release/2.8.0.810/" + OS + "/"

print('fileを確認します・・・')

with codecs.open(TXT,"r","utf-8","ignore") as f:
      print('正常に開くことに成功しました')
      for txt0 in f:
        #txt1=re.sub(f1,URL,txt0)
        #txt2=re.sub(f2,"",txt1)
        #newtxt=re.sub(f3,"",txt2)
        #newtxt=re.sub('[\x00- ]*actionset/group(\d).* *([\d.]+)', '$1 $2', txt0)
        txt1=re.sub(r'.*(actionset/group[\d.]+).*', r'{}\1'.format(f1), txt0)
        if txt1!=txt0:
            print(txt1)

#with open(TXT+'.txt',"w") as f:
#    f.write(new_txt)

Answer 3

意図を理解しているか自信ないですが\x{HHHH}じゃなくて\xHHの形式でどうでしょうか。

適当なエディタというのが何を使ったのかわかりませんが正規表現の細かいところは言語やソフトによって違います。

Comments

[退会済みユーザー]

正規表現に関する知識が浅いもので失礼いたしました.
>意図を理解しているか自信ないですが\x{HHHH}じゃなくて\xHHの形式でどうでしょうか。
これは
^[^a-z]?(.+)\x{0012}@[0-9a-f]+\x{001A}\x{0009}([\d.]+).+$
↓
^[^a-z]?(.+)\x12@[0-9a-f]+\x1A\x09([\d.]+).+$
のように書き直すということでしょうか? ちなみに実行したエディタでは書き直した正規表現ではエラーが出ました。(too short mutibyte code string)

>適当なエディタというのが何を使ったのかわかりませんが正規表現の細かいところは言語やソフトによって違います。

サクラエディタを使っています. フォーラムを調べたところ, 仰られていますように細かい表記方法が違うようですね...。

[KojiDoi]

>ちなみに実行したエディタでは
pythonで試してみないと意味ないでしょう。

[退会済みユーザー]

すみません, 言葉足らずでした
^[^a-z]?(.+)\x12@[0-9a-f]+\x1A\x09([\d.]+).+$ で書き直してPythonでも実行してみた所, エラーは出ていないものの上手く置換されていませんでした

[KojiDoi]

そもそも\x12でどの文字をマッチさせたいのでしょうか。それっぽい文字が対象文字列中に見当たらないように思えるのですが。

[KojiDoi]

↑すみません、コピペしてみたらなんとなく分かりました。