BeautifulSoupで入れ子タグの分割取得

前提・実現したいこと

PythonでWebスクレイピングによる情報収集するプログラムを作成しています。
途中で情報がうまく収集できないため、HTMLのソースを見たところ、情報に
よってHTMLが変化していました。

取得したいサイト情報の変化点

HTML
1<li class="item">
2  <a href="/detail/?id=1">
3    <div class="image">
4      <img src="/images/1.jpg" alt="1">
5    </div>
6    <p class="desc"><span class="set">SET</span>アイテム１</p>  <--ココ
7  </a>
8  <div class="info">
9    <div class="no"><span class="bold">1</span></div>
10  </div>
11  <a href="id=A">
12    <p class="name">A</p>
13  </a>
14</li>
15
16<li class="item">
17  <a href="/detail/?id=2">
18    <div class="image">
19      <img src="/images/2.jpg" alt="2">
20    </div>
21    <p class="desc">アイテム２</p>  <--ココ
22  </a>
23  <div class="info">
24    <div class="no"><span class="bold">2</span></div>
25  </div>
26  <a href="id=B">
27    <p class="name">B</p>
28  </a>
29</li>
30

class="desc" のテキストを .string を使い取り出そうとしていますが、内容により<span class="set">が入りうまくテキストを抽出することができません。

取り出したいイメージは次の通りです。

1つ目の desc : [SET]アイテム１
2つ目の desc : アイテム２

試したこと

以前、PerlによるWebスクレイピングをしていたので、１行ずつ処理していくイメージがあり、Pythonのコード書きましたが、結果は得られませんでした。

該当のソースコード

Python3
1for i in bs.select('item'):
2  if i.find(class_="desc"):
3    if i.find(class_="set"):
4      title = SET + i.find(class_="desc").string
5    else
6      title = i.find(class_="desc").striing

どの様にコーディングをすれば、目的のイメージの様な出力結果が得られますでしょうか。
よろしくお願い致します。

補足情報（FW/ツールのバージョンなど）

利用環境：
OSX 10.13.6
python 3.7.0
beautifulsoup4 4.7.1

行動規範の内容に同意します

回答1件

ベストアンサー

こんにちは。

以下、回答となるプログラムを実行してみたところです。

$ date

2019年 4月29日月曜日 23時40分32秒 JST
$ python -V
Python 3.7.3
$ pip list | grep beautifulsoup4
beautifulsoup4 4.7.1
$ cat test.py

python3
1from bs4 import BeautifulSoup
2
3html = open('input.html', 'r').read()
4
5soup = BeautifulSoup(html, 'lxml')
6
7for p in soup.select('p.desc'):
8    span = p.find('span')
9    if span:
10        print("[%s]%s" % (span.text, span.next_sibling))
11    else:
12        print(p.text)

$ cat input.html

html
1<!DOCTYPE html>
2<html>
3<head>
4    <meta charset="UTF-8">
5</head>
6<body>
7  <ul>
8    <li class="item">
9      <a href="/detail/?id=1">
10        <div class="image">
11          <img src="/images/1.jpg" alt="1">
12        </div>
13        <p class="desc"><span class="set">SET</span>アイテム１</p>
14      </a>
15      <div class="info">
16        <div class="no"><span class="bold">1</span></div>
17      </div>
18      <a href="id=A">
19        <p class="name">A</p>
20      </a>
21    </li>
22    <li class="item">
23      <a href="/detail/?id=2">
24        <div class="image">
25          <img src="/images/2.jpg" alt="2">
26        </div>
27        <p class="desc">アイテム２</p>
28      </a>
29      <div class="info">
30        <div class="no"><span class="bold">2</span></div>
31      </div>
32      <a href="id=B">
33        <p class="name">B</p>
34      </a>
35    </li>
36  </ul>
37</body>
38</html>

$ python test.py

[SET]アイテム１
アイテム２
$

参考になれば幸いです。

追記

コメントから頂きました、以下

最終的には class=item のブロック毎に class="bold",class="name" を抜き出したいのですが、頂いたコードをマージしたら、desc の内容(50件)が毎回が出力されてしまいました。item単位で出力する方法はありますでしょうか？

を満たすコードを検討しました。質問者様の要件を過不足無く満たしているかは確信を持てませんが、以下ではどうでしょうか？

python3
1from bs4 import BeautifulSoup
2
3html = open('input.html', 'r').read()
4
5soup = BeautifulSoup(html, 'lxml')
6
7for i, item in enumerate(soup.select('.item')):
8
9    print("-- %d 番目の item: --" % (i+1))
10
11    for clazz in ['desc', 'bold', 'name']:
12        elm = item.select_one('.' + clazz)
13        set_span = elm.select_one('.set')
14
15        if set_span:
16            print("%s: [%s]%s" % (clazz, set_span.text, set_span.next_sibling))
17        else:
18            print("%s: %s" % (clazz, elm.text))

input.html は先の回答に挙げたもののままで、上記を実行すると、以下のように出力されます。

$ python test.py

-- 1 番目の item: --
desc: [SET]アイテム１
bold: 1
name: A
-- 2 番目の item: --
desc: アイテム２
bold: 2
name: B
$

投稿2019/04/29 14:44

編集2019/04/30 03:29

jun68ykt

総合スコア9058

kaneuchi

2019/04/29 15:46

早速のご回答ありがとうございます。頂いたコードで desc の内容取得はできました。私の質問が悪かったのですが、最終的には class=item のブロック毎に class="bold",class="name" を抜き出したいのですが、頂いたコードをマージしたら、desc の内容(50件)が毎回が出力されてしまいました。item単位で出力する方法はありますでしょうか？