python3.6、3.7でre.subの挙動が変わった件

Question

前提・実現したいこと

python2のコードを3でも使えるようにしているのですが、正規表現の下記の変更点がドキュメントを読んでも理解できません。

.*は文字列全体にマッチし、それをabという文字列に置き換えるので、挙動としては3.6以下のものが正しいと思っていますが、
3.7以上の挙動はバグなのでしょうか？

発生している問題・エラーメッセージ

python3.6未満では下記コードを実行すると
ab
と表示されます。3.7では
abab
と置き換え文字列が2回繰り返された物が表示されてしまいます。

該当のソースコード

import re

s = “some text”
r = re.compile(r”.*”)
print(r.sub(“ab”, s))

試したこと

ちなみに.+に変えるとababのような繰り返しは無くなり、ちゃんとabのみ表示されます。

補足情報（FW/ツールのバージョンなど）

テスト環境
python2.7、3.6、3.9

Comments

[quickquip]

質問が書いてないようですが、単に解説してほしいという話ですか

[quickquip]

なんで解決済みにしちゃったの?

Answer 1

むしろ3.6以前の挙動がバグだったようですね。
re.sub(".*", ", "(replacement)", "text") doubles replacement on Python 3.7 - Stack Overflow

findallでは空文字列にマッチするのに、subのときはマッチしないのはおかしい。ということらしいです。

---

ドキュメントにも次のとおり書いてあります。分かり辛いですが。

バージョン 3.7 で変更: パターンへの空マッチは前の空でないマッチに隣接しているとき置き換えられます。

引用元： re --- 正規表現操作 — Python 3.7.10 ドキュメント

Comments

[leoogr]

ありがとうございます。記事読んでみましたが、
元々zero-widthというのが尻に潜んでいて、*だとそれにもマッチする。
但し.にカテゴライズされないのでgreedyから漏れる。
subはそれら2つの対象を置き換えるのが本来正しい。
みたいな感じでしょうか？

[LouiS0616]

.*は0長の文字列にもマッチするので、一番最後までマッチした後にお尻の空文字列とマッチするということでしょうね。
.の性質はあまり関係ないです。なんなら [a-z ]* でも同じ挙動になりますし。

[leoogr]

たしかに.は関係なかったです。
今まで尻に何か文字列が付いているかもしれないし、付いていないかもしれない、
そんな部分文字列を置き換えたい時に
hoge.*みたいに使っていたのですが、hoge.{0,}が代用になるのでしょうか？

そもそもre.match(r'.*', 'some string')で尻の空文字はスルーされているのに、subでの置き換え対象になるというのは直感的じゃない気がしますが、そんなもんでしょうか。

[LouiS0616]

直観的でないというのは同意です。が、理屈としてはきっと変更後の方が分かり良いんでしょう。
手元で試してみましたら、Javaも同じようにマッチしました。"hoge".replaceAll(".*", "fuga") ⇒ "fugafuge"

> 今まで尻に何か文字列が付いているかもしれないし、付いていないかもしれない、
そんな部分文字列を置き換えたい時に
hoge.*みたいに使っていたのですが、hoge.{0,}が代用になるのでしょうか？

hogeが先行するなら hoge.* で問題ないのでは。これは空文字列にマッチしませんから。