Pythonのスクレイピング実行時にエラーが出てしまう

Question

実施したいこと

・日経のニュースサイトから<a>タグのURLを取得したい

こちらの本の中でPythonでGoogleニュース(補足にてGoogleニュースは仕様変更のため日経ニュース）からURLをスクレイピングするコードがあり実行したいのですが、
下記のようなエラーが出ており、先に進めず困っています。

環境：Python 3.10.0

if (isinstance(value, str) or isinstance(value, collections.Callable) or hasattr(value, 'match')
AttributeError: module 'collections' has no attribute 'Callable'
コード

コードの参照元
独学プログラマー Pythonの言語の基本から仕事のやり方まで

import urllib.request
from urllib.parse import urljoin  # URLを扱うモジュールを追加
from bs4 import BeautifulSoup as BS

class Scraper:
    def __init__(self, site):
        self.site = site
        self.urls = set()  # 収集済みURLを入れておく変数

    def scrape(self):
        r = urllib.request.urlopen(self.site)
        html = r.read()
        parser = 'html.parser'
        sp = BS(html, parser)
        for tag in sp.find_all('a'):
            url = tag.get('href')
            if url is None:
                continue
            if 'atcl/news' not in url:  # 'atcl/news' を含まないURLは対象外にする
                continue
            full_url = urljoin(self.site, url)  # ドメイン名を含むURLに変換
            if full_url in self.urls:  # 既に収集済みのURLは対象外にする
                continue
            self.urls.add(full_url)  # 収集済みURLに追加
            print('\n' + full_url)  # URLを表示


news = 'https://trendy.nikkeibp.co.jp/news/'  # ニュース取得元サイトを変更
Scraper(news).scrape()

エラー内容

Traceback (most recent call last):
  File "/Users/nakajimataichi/Downloads/hosoku20181016/scraping_test.py", line 29, in <module>
    Scraper(news).scrape()
  File "/Users/nakajimataichi/Downloads/hosoku20181016/scraping_test.py", line 14, in scrape
    sp = BS(html, parser)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/__init__.py", line 228, in __init__
    self._feed()
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/__init__.py", line 289, in _feed
    self.builder.feed(self.markup)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/builder/_htmlparser.py", line 215, in feed
    parser.feed(markup)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/html/parser.py", line 110, in feed
    self.goahead(0)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/html/parser.py", line 178, in goahead
    k = self.parse_html_declaration(i)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/html/parser.py", line 269, in parse_html_declaration
    self.handle_decl(rawdata[i+2:gtpos])
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/builder/_htmlparser.py", line 160, in handle_decl
    self.soup.endData(Doctype)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/__init__.py", line 365, in endData
    self.object_was_parsed(o)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/__init__.py", line 370, in object_was_parsed
    previous_element = most_recent_element or self._most_recent_element
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/element.py", line 1054, in __getattr__
    return self.find(tag)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/element.py", line 1292, in find
    l = self.find_all(name, attrs, recursive, text, 1, **kwargs)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/element.py", line 1313, in find_all
    return self._find_all(name, attrs, text, limit, generator, **kwargs)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/element.py", line 528, in _find_all
    strainer = SoupStrainer(name, attrs, text, **kwargs)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/element.py", line 1610, in __init__
    self.text = self._normalize_search_value(text)
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/element.py", line 1615, in _normalize_search_value
    if (isinstance(value, str) or isinstance(value, collections.Callable) or hasattr(value, 'match')
AttributeError: module 'collections' has no attribute 'Callable'

疑問

エラーの内容としては、Python 組み込みモジュール 'collection'が'Callable'というメソッドを保持していないということなので、
Python3.10ではこのコードは実行できないということでしょうか？

もし、その場合はどのバージョンのPythonであれば、このコードが実行できるのかをどうやって調べればいいのでしょうか？

Answer 1

What’s New In Python 3.10 を見ると関連情報の記載があります。

Removed

Remove deprecated aliases to Collections Abstract Base Classes from the collections module. (Contributed by Victor Stinner in bpo-37324.)

Improved Modules
collections.abc

The __args__ of the parameterized generic for collections.abc.Callable are now consistent with typing.Callable. collections.abc.Callable generic now flattens type parameters, similar to what typing.Callable currently does.

Comments

[Nakajima_Taichi]

ご回答ありがとうございます。
確かに、マニュアルで確認できました。

Answer 2

古い BeautifulSoup は Python 3.10 で動きません。
BeautifulSoup を新しいものにするか、Python 3.9 以下を使いましょう。

Comments

[Nakajima_Taichi]

ご回答ありがとうございます。
以下のように実行してみたのですが、解決できず困っています。

python3.10.0が入っていたので、pyenvで3.8.12をインストールし、
pyenv local 3.8.12でディレクトリにpython 3.8.12を設定しました。

pyenv versions
> system
> 3.10.0
>* 3.8.12 (set by /Users/nakajimataichi/Downloads/hosoku20181016/.python-version)

この状態で
python scraping_test.py
※scraping_test.pyはスクレイピングコード
を実行したのですが、同様のエラーが出ています。

- エラー -
if (isinstance(value, str) or isinstance(value, collections.Callable) or hasattr(value, 'match')
AttributeError: module 'collections' has no attribute 'Callable'

python -V
で確認すると、
Python 3.10.0
が出てきます。

これはうまく、3.8.12で実行できていないのではないかと思うですが、python3.9以下を利用する（切り替える方法）はどうすればいいのか教えていただけないでしょうか？

[int32_t]

それはまた別の問題なので、別の質問を立ててください。

[Nakajima_Taichi]

承知しました。ありがとうございます。