webスクレイピング .text

Question

前提・実現したいこと

webスクレイピング初心者です。
サイトのあるテキストだけ取りたいと思っています。
しかし、以下のコードを実行すると、実行可能な時と不可能な時があります。
このような場合、どのように対処すればいいのかを教えていただきたいです。
また、他のテキストの取り出し方法などがあれば教えていただきたいです。

発生している問題・エラーメッセージ

AttributeError                            Traceback (most recent call last)
<ipython-input-34-86dad44d7856> in <module>
     16 # BeautifulSoupで扱えるようにパースします
     17 soup = BeautifulSoup(html, "html.parser")
---> 18 msg1 = soup.select_one("#app > div > div > div.mainContainer > div > div > div.row.DataBlock > div:nth-child(10) > div > header > div > div:nth-child(3) > span").text
     19 msg1 = re.sub(r"\s","",msg)

AttributeError: 'NoneType' object has no attribute 'text'

該当のソースコード

from selenium import webdriver
from bs4 import BeautifulSoup 
import re

driver_path="/Users/sishi/Anaconda3/chromedriver"
#Chromeを操作
driver = webdriver.Chrome(driver_path)

url="https://www.pref.kanagawa.jp/osirase/1369/"
driver.get(url)

html = driver.page_source.encode('utf-8')

# BeautifulSoupで扱えるようにパースします
soup = BeautifulSoup(html, "html.parser")
msg1 = soup.select_one("#app > div > div > div.mainContainer > div > div > div.row.DataBlock > div:nth-child(10) > div > header > div > div:nth-child(3) > span").text
msg1 = re.sub(r"\s","",msg1)

試したこと

ChromeからCSSセレクタをコピペで取り出すと、冗長であったりうまくいかない場合があると書いてあったのですが、この場合どこを短縮して、どのようにセレクタを取り出せばいいのかわかりらず断念してしまいました。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

スクレイピングの自動化ツールなら、Octoparseを自薦します。
WEBサイトを入力して、抽出したいデータをクリックすると、データを取得できます。
初心者でも使えます。

Answer 2

実行可能な時と不可能な時があります。

出ているエラーはAttributeErrorです。
つまり実行のたびに生成されるこのオブジェクトに、
textというアトリビュートが存在するときと存在しない時があります。

存在するときはオブジェクトがきちんと取得できたとき、
存在しないときはオブジェクトがきちんと取得できずNoneが帰ってきたときです。

すなわち要素をきちんと取得できる時とできない時があるということです。
対象サイトがたまたまその瞬間重かったかどうかによって決まっているとみてほぼ間違い無いでしょう。

具体的な対策としては、そのURLに遷移した後、要素を取得する前に一定時間待ってやるべきです。
これにより多少重かろうと毎回取得できるでしょう。

from time import sleep

〜中略〜

driver.get(url)
sleep(10)
html = driver.page_source.encode('utf-8')

〜後略〜

Comments

[mamecoro]

回答ありがとうございます！！
そのような現象が起こることを考慮していませんでした。
教えていただいたコードを使って実行してみます！！
ありがとうございます。

Answer 3

select_oneの結果がNoneだったというエラーです。
つまり、該当の要素が存在しないということなので、要素の指定が間違っているわけです。

対処としては、「HTMLをよく見る」しかないです。

HTMLを見るときは、変数htmlの内容をファイルに書き出して、そのファイルを見ましょう。
ブラウザで見るのとは違う可能性が高いです。例えば、JavaScriptで追加された要素だったり。

Comments

[mamecoro]

回答ありがとうございます。
htmlの内容をファイルに書き出すというのは具体的にどのように行うのでしょうか？？
その後、そのがいるの中身から自分で階層構造をみてCSSセレクターを設定するということでしょうか？？

[otn]

ファイルの読み書きをしたことが無い？
with open("/tmp/html","w") as f:
f.write(html)
とか。

[mamecoro]

返信ありがとうございます。
Webスクレイピング初心者で見様見真似でやってしまっていたため、そのようなことをあまりしたことがありませんでした…
一度やってみます！！また、基礎もしっかりと学ぼうと思います