IndexError: list index out of rangeを解決したい

前提・実現したいこと

python3の初学者です。progateで基礎を学習した後、実際にアウトプットをしようと思い、python3を用いて簡易的なスクレイピングのアプリを作成しています。ブラウザ上でビューファイルは問題なく表示されています。しかし、画面上のボタンをクリックしスクレイピングを開始しようとした際に、表記のエラー(IndexError: list index out of range)が発生している状況です。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "/Users/hoge/.pyenv/versions/3.7.0/lib/python3.7/site-packages/django/core/handlers/exception.py", line 47, in inner
    response = get_response(request)
  File "/Users/hoge/.pyenv/versions/3.7.0/lib/python3.7/site-packages/django/core/handlers/base.py", line 179, in _get_response
    response = wrapped_callback(request, *callback_args, **callback_kwargs)
  File "/Users/hoge/python_app/newsapp/views.py", line 24, in listfunc
    for tag in ul_tag[0]:
IndexError: list index out of range

該当のソースコード

view.py

python
1from django.shortcuts import render
2from .models import News
3from django.views.generic import CreateView
4from django.urls import reverse_lazy
5import urllib.request
6import requests
7from bs4 import BeautifulSoup
8
9
10class Create(CreateView):
11   template_name = 'home.html'
12   model = News
13   fields = ('url',)
14   success_url = reverse_lazy('list')
15
16
17def listfunc(request):
18   for post in News.objects.all():
19      url = post.url
20   list = []
21   response = requests.get(url)
22   bs = BeautifulSoup(response.text, "html.parser")
23   ul_tag = bs.find_all(class_="topicsList_main")
24   for tag in ul_tag[0]:                          #エラーが発生している箇所
25      title = tag.a.getText()
26      url2 = tag.a.get("href")
27      list.append([title, url2])
28   context = {'list': list,}
29   return render(request, 'list.html', context)

home.html

python
1{% extends 'base.html' %}
2
3{% block header %}
4<div class="jumbotron">
5   <div class="container">
6     <h1 class="display-4">News</h1>
7     <p class="lead">Enter the URL</p>
8   </div>
9 </div>
10{% endblock header %}
11
12{% block content %}
13<div class="container">
14<form action='' method='POST'>{% csrf_token %}
15<p>URL： <input type="text" name='url'></p>
16<input type="submit" value="取得する">
17</form>
18</div>
19{% endblock content %}

base.html

python
1<!doctype html>
2<html lang="en">
3 <head>
4   <!-- Required meta tags -->
5   <meta charset="utf-8">
6   <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
7   <!-- Bootstrap CSS -->
8   <link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.4.1/css/bootstrap.min.css" integrity="sha384-Vkoo8x4CGsO3+Hhxv8T/Q5PaXtkKtu6ug5TOeNV6gBiFeWPGFN9MuhOf23Q9Ifjh" crossorigin="anonymous">
9   <title>Pachi Data</title>
10 </head>
11 <body>
12   {% block header %}
13   {% endblock header %}
14   {% block content %}
15   {% endblock content %}
16   <script src="https://code.jquery.com/jquery-3.4.1.slim.min.js" integrity="sha384-J6qa4849blE2+poT4WnyKhv5vZF5SrPo0iEjwBvKU7imGFAV0wwj1yYfoRSJoZ+n" crossorigin="anonymous"></script>
17   <script src="https://cdn.jsdelivr.net/npm/popper.js@1.16.0/dist/umd/popper.min.js" integrity="sha384-Q6E9RHvbIyZFJoft+2mJbHaEWldlvI9IOYy5n3zV9zzTtmI3UksdQRVvoxMfooAo" crossorigin="anonymous"></script>
18   <script src="https://stackpath.bootstrapcdn.com/bootstrap/4.4.1/js/bootstrap.min.js" integrity="sha384-wfSDF2E50Y2D1uUdj0O3uMBJnjuUD4Ih7YwaYd1iqfktj0Uod8GCExl3Og8ifwB6" crossorigin="anonymous"></script>
19 </body>
20</html>

試したこと

このエラー文から、
list=[ ]の中にデータが入ってない為、for tag in ul_tag[0]:でデータが取得できていないのでは？
と考えました。そこで、実施したことは、
・tag[0]の中の数字を変更
・list[]の中に具体的な値を入力

補足情報（FW/ツールのバージョンなど）

コードエディター VSコード
Python 3.7.0
Django 3.1.4
requests 2.25.1
beautifulsoup4 4.9.3

_whitecat_22

2021/01/16 05:14 編集

ul_tag = bs.find_all(class_="topicsList_main") の直後で、ul_tag の中身を print(ul_tag) で表示したり、ul_tag の長さを print(len(ul_tag)) で表示して確認してみてください。 home.htmlの内容が分かれば、より回答が得られやすいと思います。質問を再編集して追記いただけると良いです。＜追記＞ base.htmlの内容も追記いただけますか？ class_="topicsList_main" は、base.html にあるようです。

hisa_eng

2021/01/16 05:28

コメントありがとうございます。指摘いただいた各ファイルを追記いたしました。また、１・２行目でコメント頂いた事を実施してみました。 ul_tag の中身を print(ul_tag) で表示 ul_tag の長さを print(len(ul_tag)) で表示 >>共に'ResultSet' object is not callable というエラーに変わりました。

_whitecat_22

2021/01/16 05:43

base.html にも、index.hrml にも、"topicsList_main" というclassが無いのですが、これはどのhtmlファイルに定義されているものでしょうか。 ul_tag = bs.find_all(class_="topicsList_main") で何も取得できていないように思います。 ur_tag = bs.select("[class='topicsList_main']") でも結果は同じでしょうか。

hisa_eng

2021/01/16 05:56

今確認したところ、"topicsList_main" というclassをビュー以外に定義していませんでした。失礼しました。また、ur_tag = bs.select("[class='topicsList_main']") と表記を変えても結果は同様でした。最後に、今回作成したアプリはWeb上に掲載されていた、以下のnoteを参考にしながら作成しました。 https://note.com/tamurasann/n/nc19a299e11bb

_whitecat_22

2021/01/16 06:08

なるほど、https://news.yahoo.co.jp/ のページ上の classだったのですね。← class='topicsList_main' ただ、2020年5月2日時点から、現在は、htmlの内容（class指定などの要素）が変わってしまっているようで、プログラムが正常に動いたとしても、該当するclassが見付からないという結果になります。取得したいニュース記事を指し示している要素を、Chromeのデベロッパーツールで確認して、bs.find_all(class_="topicsList_main") の箇所を、置き換えれば、情報を取得できるはずです。