Python BeautifulSoup の問題特定方法について

Question

実現したいこと

問題の発生個所をつきとめたい

発生している問題・分からないこと

Python BeautifulSoup で、自分のサイトの コンテンツをチェックしています。
２万件程度のコンテンツを ループさせて 下の方の箇所を実行しています。
そうすると、コンテンツのうち、いくつかで

/usr/local/lib/python3.11/html/parser.py:170: XMLParsedAsHTMLWarning: It looks like you're parsing an XML document using an HTML parser. If this really is an HTML document (maybe it's XHTML?), you can ignore or filter this warning. If it's XML, you should know that using an XML parser will be more reliable. To parse this document as XML, make sure you have the lxml package installed, and pass the keyword argument `features="xml"` into the BeautifulSoup constructor.

または

Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.

という出力が発生します。
ひとつは、コンテンツが html であるべきところ、xml になっている。
もうひとつは、utf-8 であるべきところ が 他のコードになっていることは 理解しています。
ただし、件数が多いので、それが どの URL か特定できていないので、特定したいのです。

URL を 特定する方法 もしくは 出力発生時に 例外を発生させる方法が あれば 教えてください。

該当のソースコード

http = urllib3.PoolManager(cert_reqs='CERT_REQUIRED', ca_certs='証明書ファイル')
略
html = http.request('GET', 'URL')
soup = BeautifulSoup(html.data, "html.parser")

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

自分の望む ことは得られませんでした。

補足

soup の箇所に print で 対象の URL を出力すれば いいのは 存じておりますが、それ以外の スマートな方法がないものかと 思っております。

Comments

[poto568]

soup の前に print(URL) とでも書いておけば分かりそうな気がしますけど…。
(他に要件があれば質問欄を編集してください。)

[showkit]

おっしゃることは よくわかりますので、質問を修正いたします。

Answer 1

ひとつは、コンテンツが html であるべきところ、xml になっている。

warnings モジュールを利用して、warning をエラー扱いにする方法があります。

Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.

もうひとつは、utf-8 であるべきところが他のコードになっている

この場合、contains_replacement_characters が True にセットされるので、それで判断します。

soup の箇所に print で 対象の URL を出力すればいいのは存じておりますが、それ以外のスマートな方法がないものかと思っております。

上記の対応がスマートかどうかは不明です。

import requests
import warnings
import logging
from bs4 import BeautifulSoup
from bs4.builder import XMLParsedAsHTMLWarning

warnings.resetwarnings()
warnings.simplefilter('error')
logger = logging.getLogger('bs4.dammit')
logger.disabled = True

urls = [
    'https://teratail.com/',
    'https://www.sitemaps.org/sitemap.xml',
    'https://www.jleague.jp/standings/j1/',
]

for url in urls:
    res = requests.get(url)
    res.raise_for_status()

    try:
        soup = BeautifulSoup(res.content, 'html.parser')
        if soup.contains_replacement_characters:
            print(f'Some characters could not be decoded: {url}')
    except XMLParsedAsHTMLWarning:
        print(f'XMLParsedAsHTMLWarning: {url}')
    except e:
        print(f'{url}: {e}')


# XMLParsedAsHTMLWarning: https://www.sitemaps.org/sitemap.xml
# Some characters could not be decoded: https://www.jleague.jp/standings/j1/

Comments

[showkit]

早速やってみます。

[showkit]

うまくいきました。ありがとうございます。