【Python】処理時間が長い原因と対策を知りたい

Question

グーグルニュースをスクレイピングしてみましたが、処理時間がかなり長くなってしまいます。
どうすれば短くできるのでしょうか？

from flask import Flask, render_template, request
from bs4 import BeautifulSoup
import time, json, requests, datetime

app = Flask(__name__)

t1 = time.time()

n1 = time.time()
def get_news():
    news_results = []
    url = 'https://news.google.com/topics/CAAqJggKIiBDQkFTRWdvSUwyMHZNRFp1ZEdvU0FtcGhHZ0pLVUNnQVAB?hl=ja&gl=JP&ceid=JP%3Aja'
    r = requests.get(url)
    data = BeautifulSoup(r.content, 'html.parser')
    news_list = data.find_all("div", class_="xrnccd")
    for news in news_list:
        try:
            title = news.find("h3").a.text
            link = news.find("a").get('href')
            link = link.lstrip(".")
            link = "https://news.google.com" + link
            site = news.find("a", class_="wEwyrc").text
            box = title,link,site
            news_results.append(box)
        except AttributeError:
            pass
    return news_results
n2 = time.time()

news_results = get_news()

@app.route('/')
def index():
    counts = len(news_results)
    return render_template('index.html', news_results = news_results, counts = counts)

t2 = time.time()

n_time = n2 - n1
time = t2 - t1
print("ニュース処理時間:" + str(n_time))
print("全体の処理時間:" + str(time))



if __name__ == "__main__":
    app.run(debug=True)

ニュース処理時間:9.5367431640625e-07
全体の処理時間:19.398283004760742

Comments

[coco_bauer]

どのぐらいの量(件数、データの総量など）のデータをスクレイピングしたのですか？

[FiroProchainezo]

これだけだと実行できないのでなんとも言えませんが、もっと細かく計測してどこで時間が掛かっているか確認してみてはいかがですか？

[KUBO3]

> coco_bauer
70件でした。違うサイトで20件のデータをスクレイピングしてみたのですが変わらなかったので、スクレイピングの部分以外に原因があるのかなぁと思ったのですが...

[KUBO3]

> FiroProchainezo
ありがとうございます。調べて確認してみます！

[meg_]

googleはスクレイピング禁止との認識ですが、グーグルニュースはOKなのでしょうか？

Answer 1

取得解析対象のファイルサイズが大きすぎます。
RSSから取得して必要な情報を抽出したほうが早く、サーバへの負荷も小さくなります。

GoogleNewsのRSS(日本語)
https://news.google.com/rss?hl=ja&gl=JP&ceid=JP:ja

https://news.google.com/news/rss/headlines/section/topic/SPORTS

Comments

[KUBO3]

なるほどです。ありがとうございます。
参考になりました！