BeautifulSoupで、入れ子になったタグの要素を別々に取り出したい

Question

前提・実現したいこと

非エンジニア、Python初心者です。
こちらへの投稿も初めてですので、質問の仕方等不備があればご指摘いただけるとありがたいです。

Python・BeaurifulSoupを利用したWebスクレイピングでHTML内の漢字と読みの情報を取り出そうとしています。

<span class="yomi">あつ<span class="okurigana">める</span></span>

となっている部分から「あつ」と「める」を別々に取り出し、送り仮名がないものについては空白を取得したいです。

発生している問題

soup.selectでCSSセレクタを指定して特定の情報を取り出したのですが、入れ子になった別々のタグの要素が結合されて取得されてしまいます。

希望する出力結果：
鳩
['はと', 'あつ', 'あつ', 'やす']
['', 'める', 'まる', 'んずる']

実際の出力結果：
鳩
['はと', 'あつめる', 'あつまる', 'やすんずる']
['める', 'まる', 'んずる']

該当のソースコード

  <div class="kanji">
    <span class="text">鳩</span>
  </div>
(省略)
  <div class="reads">
    <dl>
(省略）
      <dt>訓読み</dt>
      <dd> <span class="yomi">はと</span>・ 
           <span class="yomi">あつ<span class="okurigana">める</span></span>・ 
           <span class="yomi">あつ<span class="okurigana">まる</span></span>・ 
           <span class="yomi">やす<span class="okurigana">んずる</span></span>
        </dd>
    </dl>
  </div>

import requests
from bs4 import BeautifulSoup

url = 'https://www.xxxxxx.xxx/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')

kanji = soup.select_one('.kanji > .text').text
yomi_kun = [tag.text for tag in soup.select('div.reads > dl > dd:nth-of-type(2) > span.yomi')]
okurigana = okurigana = [tag.text for tag in soup.select('div.reads > dl > dd:nth-of-type(2) > span.yomi > span.okurigana')]
print(kanji)
print(yomi_kun)
print(okurigana)

# 出力結果：
# 鳩
# ['はと', 'あつめる', 'あつまる', 'やすんずる']
# ['める', 'まる', 'んずる']

試したこと

行き詰まってしまい、解決策を思いつくことができませんでした。正規表現を使ったりするのでしょうか。

補足情報（FW/ツールのバージョンなど）

Mac OS　11.6
Google colaboratory 上で作業しています。
Python 3.7.12
BeautifulSoup4 4.6.3
よろしくお願いいたします。

Answer 1

stripped_strings を使ってみました。

yomi_kun, okurigana = [], []
for i in soup.select('div.reads > dl > dd:nth-of-type(2) > span.yomi'):
  ss = list(i.stripped_strings)
  yomi_kun.append(ss[0])
  okurigana.append(ss[1] if len(ss) > 1 else '')

print(yomi_kun)
print(okurigana)

#
['はと', 'あつ', 'あつ', 'やす']
['', 'める', 'まる', 'んずる']

Comments

[SMGLA]

stripped_stringsのプロパティで小要素に含まれるテキストを１つづつ取得できるのですね。大変勉強になりました。ありがとうございました。

Answer 2

こういう感じです。
htmlにはご質問のなかのHTMLが入っています。

>>> from bs4 import BeautifulSoup
>>>
>>> def get_yo(tag):
...     if len(tag.contents) == 1:
...         return tag.contents[0], ''
...     else:
...         return tag.contents[0], tag.contents[1].text
...
>>> soup = BeautifulSoup(html, 'lxml')
>>> kanji = soup.select_one('.kanji > .text').text
>>> yo = [get_yo(tag) for tag in soup.select('span.yomi')]
>>> yomi_kun = [t[0] for t in yo]
>>> okurigana = [t[1] for t in yo]
>>> print(kanji)
鳩
>>> print(yomi_kun)
['はと', 'あつ', 'あつ', 'やす']
>>> print(okurigana)
['', 'める', 'まる', 'んずる']

Comments

[SMGLA]

if と else で中身の要素の数を取得するのですね。とてもわかりやすいロジックをありがとうございました。大変勉強になりました。