PythonでBeautifulSoupを使って文字を取得したい

Question

前提・実現したいこと

PythonでBeautifulSoupを使ってWEBページ内の特定の文字を取得したいのですが、うまくいきません。
不要なHTMLソースまで取得できてしまいます。。。

ご教授いただければと思います。

発生している問題・エラーメッセージ

該当のソースコード

#! /usr/bin/env python

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome("/test/test/chromedriver")
try:
    # ページにアクセス
    driver.get('https://test/')
    html = driver.page_source
    soup = BeautifulSoup(html, "html.parser")
    for shopList in soup.find_all('div', class_='shop'):
        results = soup.find_all("div", class_="shop_name")
        print(results)
except Exception as e:
        print("【取得エラー】")

上記のソースだと、結果は以下のようになるのですが、
この結果のうち、「取得したい文字」だけを取得したいです。

<div class="shop_name">
            取得したい文字<br/>
<span class="en">test</span>
</div>, <div class="shop_name">
            取得したい文字<br/>
<span class="en">test</span>
</div>, <div class="shop_name">
            取得したい文字<br/>
<span class="en">test</span>
</div>

補足情報（FW/ツールのバージョンなど）

python3.7

Answer 1

掲題のコードではfind_all('div', class_='shop')とある様なので
htmlデータにも<div class="shop">という要素があり
また'find_all()'を使用している為その要素が複数存在していると仮定して回答差し上げます。

掲題のコードではfor文内にてsoup.find_all('div', class_='shop_name')とされておりますが
それでは元々for文でshopListと変数を取る意味がなくなってしまいます。
for文内でsoupを対象にfind_allメソッドを使用するのではなくshopListを対象に使用しましょう。

そうするとshop_nameクラスを持ったdiv要素が含まれるshopクラスのdiv要素が列挙されるので
更にfor文でそれぞれ.textとすると「取得したい文字 test」と出力されるはずなので
split()と分割をし[0]をスライスしてあげる事で目的の動作が得られるでしょう。

from bs4 import BeautifulSoup

target = '''<div class="shop">
<div class="shop_name">
			取得したい文字<br/>
<span class="en">test</span>
</div>, <div class="shop_name">
			取得したい文字<br/>
<span class="en">test</span>
</div>, <div class="shop_name">
			取得したい文字<br/>
<span class="en">test</span>
</div>'''


soup = BeautifulSoup(target, 'html.parser')
for shopList in soup.find_all('div', class_='shop'):
	results = shopList.find_all("div", class_="shop_name")
	for result in results:
		print(result.text.split()[0])

Comments

[takahiro00]

解決しました。
ありがとうございます。

Answer 2

print(results.contents[0].strip())でしょうか。

Comments

[takahiro00]

回答ありがとうございます。
試しましたが、取得エラーになってしまいます。。。

[otn]

エラーを具体的に書いてください。

[toast-uz]

AttributeError: ResultSet object has no attribute 'contents'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()? ですね。

質問者様、こちらで同様の質疑回答が存在します。
https://teratail.com/questions/165149