Webサイトからスクレイピングしてテキストを保存したい。

Question

bs4とurllibを用いてスクレイピングをして以下のような構造のサイトからテキストを保存したいです。

スクレイピングしたいサイトHTML

…
<p data-v-xxxx(任意の英数字列) class="yyyy(任意の英数字列)">
    "持ってきたいテキスト"
    <!---->
</p>

試したこと

以下のコードを実行しました。

該当のソースコード

from bs4 import BeautifulSoup
import requests

load_url = "https://jarujaru.com/"
html = requests.get(load_url)
soup = BeautifulSoup(html.content, "html.parser")
topic = soup.find(class_="title")

for element in topic.find_all('p'):
    print(element.text)

上記の結果は以下です。
Traceback (most recent call last):
File "scjaru.py", line 9, in <module>
for element in topic.find_all('p'):
AttributeError: 'NoneType' object has no attribute 'find_all'

Comments

[CHERRY]

たとえば、 print( topic ) すると topic には、どのような値が入っているのでしょうか。

[tarotarotaro]

Noneが返ってきました。

Answer 1

そのウェブサイトは JavaScript を使用して動的にコンテンツを生成しています。ウェブブラウザの開発者ツール(Developer Tools)で通信状況を眺めてみると API が存在しますので、それを利用します。

import requests
import json
from pprint import pprint

title = []

# News
news_url = 'https://jarujaru.com/api/v1/news'
r = requests.get(news_url)
js = json.loads(r.content)
for item in js:
    title.append(item['title'])

# Posts
posts_url = 'https://jarujaru.com/api/v1/posts'
r = requests.get(posts_url)
js = json.loads(r.content)['data']
for item in js:
    title.append(item['title'])

pprint(title)

#
['JARU JARU TOWER 2019\u3000～元号またいでんじゃねえよ！～',
 '１０月４日新着情報！！ DVD 「JARU JARU TOWER 2018」発売決定！',
 '「JARU JARU TOWER」メイキングムービー',
 '最高レベルのムズい客の奴',
 '喫茶店で全く音立てない客の奴',
 'ネタ合わせ１回もせず初舞台に挑む奴',
 '社長なれる奴となれない奴',
             :

Comments

[tarotarotaro]

ご回答ありがとうございます。これを実行したらその都度内容が変わるのですが、何か決まった法則はありますか？また、全部の「～の奴」という動画のタイトルを持ってくるには、このコードを何度も実行してその中から重複を抜き取るとかでしかできないですかね？

[melian]

私の方で試した限りでは同じ内容になっています。

[tarotarotaro]

見間違いでしたすみません。