Pythonのwebスクレイピングにおいて、for文でテキストを取得するやり方を教えてください。

Question

実現したいこと

ここに実現したいことを箇条書きで書いてください。

• webスクレイピングにおいて、HTMLデータからテキストのみを取得する

前提

ここに質問の内容を詳しく書いてください。
（例）
webスクレイピングを勉強中なのですが、for文でデータを取得した際、HTMLデータからテキストの取得が出来ず、足踏みしております。
テキストを取得するにはコードのどこを修正すれば良いでしょうか？

for文で、取得したいHTMLデータは取れており、そこから後はテキストのみを抽出できれば良いのですが、テキスト取得のみ行うことが出来ません。
for文を使用せず、一つ一つ取得するケースだと、テキストも問題なく取得できます。

発生している問題・エラーメッセージ

エラーメッセージ
AttributeError: ResultSet object has no attribute 'text'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?

該当のソースコード

import requests
from bs4 import BeautifulSoup

url = "https://dragons.jp/teamdata/mostrecord/record01.html"
res = requests.get(url)

soup = BeautifulSoup(res.text,"html.parser")
trs = soup.find_all("tr")
for tr in trs:
    tr = tr.find_all("td")
    print(tr.text)

試したこと

.textではなく、get_text()やgetText()など、インターネットから検索したやり方を一通り試しましたが、いづれも同じようなエラーが出てしまいます。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[68user]

ご参考: https://yu-nix.com/archives/bs4-table/

[meg_]

> テキストを取得するにはコードのどこを修正すれば良いでしょうか？
エラーメッセージ内の「You're probably treating a list of elements like a single element.」がほぼ答えかと思いますが。

Answer 1

find_allの結果はリストのようなもの(bs4.element.ResultSet)です。
text属性があるのは、bs4.element.ResultSetじゃなくて、リストの要素であるbs4.element.Tagです。

trタグの中にあるおそらく複数のtdの中のテキストを全部つないだ物が欲しいのであれば、

for tr in trs:
    print(tr.text)

で、tdの中のテキストを個別に欲しいのであれば、

for tr in trs:
    tds = tr.find_all("td")
    for td in tds:
        print(td.text)

です。
お書きのtr = tr.find_all("td")で、「trの中のtdのリスト」になぜtrという意味を表さない変数名をつけたのでしょうか？そういうのはバグの元なので、中味を表す変数名を付けましょう。

Comments

[tyonmage12]

ありがとうございます！
無事解決出来ました！

変数名はただつけ方が下手くそなだけです、、
こちらも有効的な変数を付けれるよう学んでいきます！