BeautifulSoupを用いたスクレイピング

Question

前提・実現したいこと

tabletag から全てのtrタグを取り出したい

発生している問題・エラーメッセージ

'NoneType' object has no attribute 'find_all'

該当のソースコード

import requests
from bs4 import BeautifulSoup

url = "https://www.jalan.net/270000/LRG_272000/?stayYear=&stayMonth=&stayDay=&dateUndecided=1&stayCount=1&roomCount=1&adultNum=2&ypFlg=1&kenCd=270000&screenId=UWW1380&roomCrack=200000&lrgCd=272000&distCd=01&rootCd=04/page{}#"
target_url = url.format(1)
r = requests.get(target_url)
soup = BeautifulSoup(r.content, "html.parser")

d_list = []
products = soup.find_all("div", class_="p-yadoCassette__body p-searchResultItem__body")
for product in products:
    row = product.find("div", class_="p-yadoCassette__summary p-searchResultItem__summary")
    table = product.find("table", class_="p-planTable p-searchResultItem__planTable")

    name = row.find("h2", class_="p-searchResultItem__facilityName").text

    tr_tags = table.find_all("tr")[1:3]
    for tr_tag in tr_tags:
        point_info,per,total = tr_tag.find_all("td")

        point = point_info.find("li", class_="c-label c-label--orange p-searchResultItem__horizontalLabel overwritePointLabel")
        perfee = per.find("span")
        totalfee = total.find("span")

        d = {
        "name":name,
        "point":point.text,
        "perfee":perfee.text,
        "totalfee":totalfee.text
        }

試したこと

tableの中身などを確認してみたのですが、tdタグが複数あるのに対して取り出せない。

補足情報（FW/ツールのバージョンなど）

Python 3.9.0

Comments

[ikapy]

find_allは、何ケ所もありますがどの行でエラーになったのか記入願います。

[tanusan]

失礼しました。tr_tags = table.find_all("tr")[1:3]こちらの行になります。

[ikapy]

「table = product.find("table", class_="p-planTable p-searchResultItem__planTable") 」で table がNoneなのですね。
find_allは見つからなかった場合、「[]」が返ってくるので、おかしいと思っていたのですが、元々がNoneなら納得です。ppaulさんの通りです。
蛇足ですが tableタグは、pandasのto_csvが便利です（tableだから）。

Answer 1

for product in products:

で、たとえば最初のループではproductはproducts[0]です。
その場合にはproductの中に"table"はないのでtableはNoneとなります。
それに対して、find_allを行えば
'NoneType' object has no attribute 'find_all'
になります。

tableがNoneの場合はスキップするようにifで判定しましょう。

Comments

[tanusan]

ご回答ありがとうございます。
エラーの内容まで詳しく教えていただきありがとうございました。

Answer 2

どうなっているか

まず、

'NoneType' object has no attribute 'find_all'

なので、find_allメソッドを実行しようとしている要素のどこかがNoneになってしまっているのでこれを解決する必要があります。
コード内でfind_allを実行しているのは2箇所ですが、そのうち1回目のproductsを取り出す元となるsoupは、requestsで取ってきたコンテンツ全体なのでNoneには基本的になりません。

コード内の条件でproductsをリストとして取得して、ループ内でそれぞれtableをproduct.findで取り出そうとしているのですが、ここでNoneが含まれている可能性があります。

取得元URLを見ると最初の2件の宿がPRによる表示となっています。
この項目の中身を確認すると、tableタグはp-planTable p-searchResultItem__planTable p-searchResultItem__planTable--prというクラスが指定されています。

このため、元のコードである

    table = product.find("table", class_="p-planTable p-searchResultItem__planTable")

では、

• PR対象の宿のtableを見つけられず、findはNoneを返す
• その先でNoneに対するfind_allを実行しようとしてエラーになる

となってます。

どうするか

次のような対処が必要です。

• PR宿を無視したいなら => Noneか判定して必要に応じてスキップする
• PR宿を含めたいなら => tableの取り出し条件を緩めるか、Noneだった際に取り直す

Comments

[tanusan]

ご回答ありがとうございます。
わかりやすくなぜエラーが起きてるのかというところから教えていただきありがとうございます。