特定のHTMLタグの間に存在する不要なタグを正規表現で置換し削除する

Question

前提・実現したいこと

Python3.xにて、特定のHTMLタグの間の存在する不要なタグを正規表現で置換するプログラムを作成しています。

発生している問題・エラーメッセージ

下記のソースコードを基にすると、<div class="main"><h2 class="h2_main"> ~ </h2></div>間に存在する全てのHTMLタグを正規表現により置換し削除したいのですが、パターンにマッチさせることができず困っております。

該当のソースコード

text = '<p>文字列1</p><div class="main"><h2 class="h2_main"><p>文字列2</p>文字列3<em>文字列4</em></h2></div>'

output = re.sub('(<div class="main"><h2 class="h2_main">)((?!<.*?>.*?))(</h2></div>)', '\1\2\3', text)
print(output)

# 現状(マッチせずそのまま出力される)
<p>文字列1</p><div class="main"><h2 class="h2_main"><p>文字列2</p>文字列3<em>文字列4</em></h2></div>

# 期待する出力
<p>文字列1</p><div class="main"><h2 class="h2_main">文字列2文字列3文字列4</h2></div>

以上、よろしくお願いいたします。

ご回答を基にした最終的なコード

from bs4 import BeautifulSoup

text = '<p>文字列1</p><div class="main"><h2 class="h2_main"><p>文字列2</p>文字列3<em>文字列4</em></h2</div>'

soup = BeautifulSoup(text, 'html.parser')

for h2 in soup.find_all('h2'):
    for e in h2.find_all():
        e.unwrap()

print(soup)

Answer 1

一気に片付けようとするから複雑になるのです。

---

まずコアの処理を担う関数を書いてやります。

def remove_tags(src):
    return re.sub(r'<.+?>', r'', src)

assert remove_tags(r'<p>文字列2</p>文字列3<em>文字列4</em>') == r'文字列2文字列3文字列4'

そして、それを上手く活用してコードを拡張してやれば良いのです。

result = re.sub(
    r'(?<=<div class="main"><h2 class="h2_main">)(.+?)(?=</h2></div>)',
    lambda m: remove_tags(m.group(1)),
    text
)

あるいは

result = re.sub(
    r'(<div class=".+?"><h2 class=".+?">)(.+?)(</h2></div>)',
    lambda m: f'{m.group(1)}{remove_tags(m.group(2))}{m.group(3)}',
    text
)

(Pythonは量指定子を含んだ先読み・後読みに対応していないのです。)

実行結果 Wandbox

<p>文字列1</p><div class="main"><h2 class="h2_main">文字列2文字列3文字列4</h2></div>

別解

正規表現に拘らないのであれば、こんな方法でも良いです。

from bs4 import BeautifulSoup


text = '<p>文字列1</p><div class="main"><h2 class="h2_main"><p>文字列2</p>文字列3<em>文字列4</em></h2></div>'
soup = BeautifulSoup(text, 'html.parser')

h2 = soup.find('h2')
for e in h2.find_all():
    e.unwrap()

print(soup)

実行結果

<p>文字列1</p><div class="main"><h2 class="h2_main">文字列2文字列3文字列4</h2></div>

実質三行で書けました。

参考： Beautiful Soup 4.2.0 Doc. 日本語訳

Comments

[furozy]

ご回答ありがとうございます。
仰る通り、無理に正規表現を使わなくてもBeautifulSoupで実現することができました。
<h2>タグが複数存在するケースを考慮した最終的なコードを追記いたしました。