python 要素を特定し、その要素より下の部分からスクレイピング

Question

前提・実現したいこと

<div class> ```html <div class> <h1> </h1> <p> </p> <p> </p> <h2> </h2> <p> </p> <i> </i> <p> </p> <h3> </h3> <p> </p> <i>hoge</i> <ul> </ul> <li>hoge2</li> <li>hoge3</li> <li>hoge4</li> <li>hoge5</li> <i>hoge6</i> <ul> </ul> <li>hoge7</li> <li>hoge8</li> <li>hoge9</li> <li>hoge10</li> <h3> </h3> <p> </p> <i>hoge11</i> <ul> </ul> <li>hoge12</li> <li>hoge13</li> <li>hoge14</li> <li>hoge15</li> <h2> </h2> <p> </p> <p> </p> <ul> </ul> <li>hogehoge</li> <li>hogehoge2</li> <li>hogehoge3</li> <li>hogehoge4</li> </div> ``` 上記のような構造のwebサイトがあった際に、下記のような動作を行いたいのですが、実現可能でしょうか 1.<h3>を見つけてくる 2.<h3>の下にある<i>を見つけてテキストを取得 3.<h3>の下にある<ul>から<li>のテキストをそれぞれ抜き出す 4.次の<h3>を探してきて２、３を行う 5.<h2>が出てきたらストップし、それ以降の情報を取らない

実現したいのは<h3>を探してきて、それ以降の情報を取り出しリスト化。そして<h2>が出てきたところで情報取得を終わるということを自動化

困っていること
情報を取得したい範囲が<div>で囲われていないので、<div>での範囲指定ができない。<h3>から<h2>までという範囲指定は可能かどうかがわからない

上記のような範囲指定が可能ならば、後はその範囲でfor文を回せば実現可能だと感じています。

よろしくお願いいたします

Answer 1

求めている手順とは違いますが、欲しいのはこういう結果ではないのですか？

from bs4 import BeautifulSoup

html = '''<div class>
<h1> </h1>
  <p> </p>
  <p> </p>
    <h2> </h2>
    <p> </p>
    <i> </i>
    <p> </p>
     <h3> </h3>
     <p> </p>
     <i>hoge</i>
     <ul> </ul>
       <li>hoge2</li>  
       <li>hoge3</li>
       <li>hoge4</li>
       <li>hoge5</li>
     <i>hoge6</i>
     <ul> </ul>
       <li>hoge7</li>  
       <li>hoge8</li>
       <li>hoge9</li>
       <li>hoge10</li>
     <h3> </h3>
      <p> </p>
      <i>hoge11</i>
     <ul> </ul>
       <li>hoge12</li>  
       <li>hoge13</li>
       <li>hoge14</li>
       <li>hoge15</li>
    <h2> </h2>
    <p> </p>
    <p> </p>
    <ul> </ul>
     <li>hogehoge</li>  
     <li>hogehoge2</li>
     <li>hogehoge3</li>
     <li>hogehoge4</li>
</div>'''

soup = BeautifulSoup(html)
result = []
for h3 in soup.find_all('h3'):
    for ns in h3.findNextSiblings():
        if ns.name == 'i':
            result.append(ns.text)
            break

print(result)

実行結果

>>> print(result)
['hoge', 'hoge11']

Comments

[keisukefukuhara]

ppaul様
回答ありがとうございます。
得たい結果としては
[['hoge', 'hoge2'], ['hoge', 'hoge3'],........., ['hoge', 'hoge5'], ['hoge11', 'hoge12'], ['hoge11', 'hoge13'] ......['hoge11', 'hoge15']]
というリストを作りたいです。

[keisukefukuhara]

ppaul様
findNextSiblings()
を使用すれば欲しい情報が得られそうです。
ありがとうございました。