スクレイピング：listタグ内の、class、idで特定できない値の抽出

Question

前提・実現したいこと

以下のようなソースコードにおいて、pythonを介してスクレイピングでb2の値を取得したいのですが、取得方法についてご教示お願い致します。

該当のソースコード

[ppp.comのソースコード]

<table id="A"> <tr> <td> <ul id class ="B"> <li>a1</li> <li>a2</li> <li>a3</li> </ul> <ul id class ="B"> <li>b1</li> <li data-an-olink="C">**b2**</li> /*取得したい値の行*/ <li>b3</li> </ul> <ul id class ="B"> <li>c1</li> <li>c2</li> <li>c3</li> </ul> </td> </tr> </table> ### 試したこと import requests from bs4 import BeautifulSoup

url = 'ppp.com'

response = requests.get(url)
response.encoding = response.apparent_encoding

bs = BeautifulSoup(response.text, 'html.parser')
ul = bs.find('table',{'id':'A'}).findAll('ul',{'class':'B'})

line = ul.find('li',{"data-an-olink":"C"}).string
print(line)

補足情報（FW/ツールのバージョンなど）

これらの方法がダメだった場合、該当するul内の一つ目のliの値を条件に抽出する方法(if li[0] = b1 )はどうかなと思います。

Answer 1

CSSセレクタでも直接取得することができます。

html = """
<table id="A">
<tr>
<td>

<ul id class ="B">
<li>a1</li>
<li>a2</li>
<li>a3</li>
</ul>

<ul id class ="B">
<li>b1</li>
<li data-an-olink="C">b2</li>
<li>b3</li>
</ul>

<ul id class ="B">
<li>c1</li>
<li>c2</li>
<li>c3</li>
</ul>

</td>
</tr>

</table>
"""

from bs4 import BeautifulSoup

bs = BeautifulSoup(html, 'html.parser')
line = bs.select_one('table[id="A"] > tr > td > ul[class="B"] > li[data-an-olink="C"]')
print(line.string)

Comments

[barobaro]

idとclass以外のcssの書き方知らなかったので勉強になりました。

Answer 2

金額の部分はjavascriptで後からレンダリングされているため
レンダリング後スクレイピングします。

新品在庫ありの部分だけ取得するサンプルです。必要な箇所のCSSに変更してください。

# requests-htmlをインストール
pip install requests-html

from requests_html import HTMLSession

# URLを入力
url = 'https://mnsearch.com/item?kwd=B07G3JM2P5'

# CSS
css = 'table#_shopList_new td span.price'

session = HTMLSession()

r = session.get(url)

# Javascriptレンダリングされるまで5秒待機
r.html.render(sleep=5)

result = [i.text for i in r.html.find(css)]

print(result)

Answer 3

<ul id class ="B">が３つあるためリストになっています。 ひとつずつ取り出して処理してあげるといいです。 a1とc1のところには'data-an-olink'がないためifで除外してからstringしています。

from bs4 import BeautifulSoup

html = '''
<table id="A">
<tr>
<td>

<ul id class ="B">
<li>a1</li>
<li>a2</li>
<li>a3</li>
</ul>

<ul id class ="B">
<li>b1</li>
<li data-an-olink="C">b2</li> /*取得したい値の行*/
<li>b3</li>
</ul>

<ul id class ="B">
<li>c1</li>
<li>c2</li>
<li>c3</li>
</ul>

</td>
</tr>

</table>
'''

soup = BeautifulSoup(html, 'html.parser')

for ul in soup.find_all('ul', class_='B'):
    line = ul.find('li',{"data-an-olink":"C"})
    if line:
        print(line.string)

追記

直接でかまわないのであればこれで取得できます

soup = BeautifulSoup(html, 'html.parser')

line = soup.find('li',{"data-an-olink":"C"})
print(line.string)

Comments

[youri0326]

わかりやすく回答していただきありがとうございます。
別のページでは機能したのですが、取得したい特定のページで機能しなかったので、そのページではスクレイピングが防止されているのかなと思いました。。。

[barobaro]

pip install html5lib
で追加して
soup = BeautifulSoup(html, 'html5lib')
で試してみるとどうでしょうか？

もし差し支えなければURLを教えて欲しいです。
難しいようでしたら該当箇所のHTMLのソースがあれば見てみたいのでお願いします。
soup.prettify()
で整形されたソースが表示されます

[youri0326]

ご丁寧にありがとうございます。
■URL
https://mnsearch.com/item?kwd=B07G3JM2P5
↑こちらの

■該当箇所
'table[id="_shopList_new""] > ul[class="_shop_info_list"] > a[data-an-olink="item_price_amazon"] >span[class="price"]

のspanに含まれるテキストを取得したいと思っています。item_priceだけに限定すると値が取得できるので、もしかしたらそれ以上、特定できないのかと思いました。
お手数をおかけしますが宜しくお願い致します。

[barobaro]

別回答にてプログラム記載しました。

[youri0326]

ありがとうございます。ご指摘の通り記載したら稼働しました。