前提・実現したいこと
PythonでWebスクレイピングによる情報収集するプログラムを作成しています。
Webサイトは私自身が作成してるわけではないため、htmlの書き方は常に正しいとは限らない状況です。
発生している問題・エラーメッセージ
html内のclass名にはスペースが入っているものがあり、for文を使い select_one()などで スペースの入っているclass名を指定すると正しく処理ができません。
set_span = elm.select_one('.set') AttributeError: 'NoneType' object has no attribute 'select_one'
該当のソースコード
python3
1for clazz in ['desc', 'bold', 'create name']: 2 elm = item.select_one('.' + clazz) 3 set_span = elm.select_one('.set_item')
試したこと
初めはなぜエラーになるかがわからなかったのですが、もしかしてと思い、htmlをローカルにファイルとして保存してから、当該の class名を 'create name' から 'create_name' とスペースをアンダースコアーに変更し、それに合わせ python3 の for文 inも 'create_name' に変更したところ、正常に処理することができました。
今回は原因切り分けとしてローカルファイルとして処理しましたが、requests.get を使いオンラインで処理をするにはどの様な処理をすればよろしいでしょうか。
よろしくお願い致します。
補足情報(FW/ツールのバージョンなど)
OSX 10.13.6
python 3.7.0
beautifulsoup4 4.7.1

回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。