pythonでのスクレイピング：'NoneType' object has no attribute 'getText'

前提・実現したいこと

ここに質問の内容を詳しく書いてください。
python初心者です。
こちらのサイト(https://yukituna.com/1091/)を参考に、スクレイピングを試みています。
実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

AttributeError: 'NoneType' object has no attribute 'getText'

該当のソースコード

python
1from flask import Flask, render_template
2import requests
3from bs4 import BeautifulSoup
4
5app = Flask(__name__)
6
7@app.route('/')
8def index():
9    hatebu_array = []
10
11    r = requests.get('http://b.hatena.ne.jp/')
12    content = r.content
13    soup = BeautifulSoup(content, 'html.parser')
14
15    for div in soup.select("div.entrylist-contents-main"):
16        title = div.h2
17        url =  div.a
18        user = div.span
19        user_num = user.getText().split(" ")
20
21        if int(user_num[0]) >= 20:
22            data_list = []
23            data_list.append(title.getText())
24            data_list.append(url.get('href'))
25            data_list.append(user.getText())
26            hatebu_array.append(data_list)
27        else:
28            next
29
30        return render_template('index.html',hatebu_array=hatebu_array)
31
32    if __name__ == '__main__':
33        app.debug = True
34        app.run()

試したこと

title = div.h2　を　soup.find('h2').get_text()　と変更し、調整してみましたが、 raise TemplateNotFound(template)　とエラーが出てしまいました。
構造的な問題なのか、こちらもよくわからず困っております。

どうかお力添えを賜りたいです。よろしくお願いします。

Penpen7

2020/06/29 14:19

エラー文を詳細にお願いします。(どの行でエラーになっているかなど)

行動規範の内容に同意します

回答2件

ベストアンサー

[title = div.h2　を　soup.find('h2').get_text()　に変更するとraise TemplateNotFound(template)が発生する理由]

上記の～.pyファイルと同じフォルダにtemplateフォルダを作り、その中にindex.htmlとlayout.htmlを作成していないからではないでしょうか。
（index.htmlの中身はここ、
layout.htmlの中身はここの通りになっている必要があります）

あと、（templateフォルダおよびその中にindex.html、layout.htmlを作成したうえで）
title = div.h2　を　soup.find('h2').get_text()
とする必要はなく、
title = div.h3
とすれば、元のAttributeError: 'NoneType' object has no attribute 'getText'エラーは
発生しなくなると思います。

（蛇足ですが、元記事は2年以上前の記事なので、その頃から比べるとはてなブックマークのトップページの構造が変わってしまっていると思われます。
したがって、現時点ではユーザー数が20以上のリンクは最初の１つしか取得できません）

投稿2020/06/29 15:06

編集2020/06/29 15:09