PythonでCSSセレクター(Chromeの自動生成)がうまくいかないです【Webスクレイピング】

前提・実現したいこと

Webスクレイピングとエラーを直したいです．

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "19.3.6.title.py", line 104, in <module>
    nikkei_heikin2 = (soup.select_one("#content > table > tbody > tr:nth-child(2) > td:nth-child(3)").text)
AttributeError: 'NoneType' object has no attribute 'text'

該当のソースコード

Python
1# アクセスするURL
2    url = "https://www.spamcop.net/w3m?action=inprogress"
3
4    # URLにアクセスする htmlが帰ってくる 
5    html2 = urllib.request.urlopen(url)
6
7    # htmlをBeautifulSoupで扱う
8    soup = BeautifulSoup(html2, "html.parser")
9
10    nikkei_heikin2 = ""
11
12    nikkei_heikin2 = (soup.select_one("#content > table > tbody > tr:nth-child(2) > td:nth-child(3) > a").text)
13

試したこと

soup = BeautifulSoup(html2, "html.parser")→
soup = BeautifulSoup(html2.read(), "html.parser")

あるサイトには，"原因はaタグしか入れていないリストの要素からaタグを取り出そうとしていたこと。ネストされている要素の場合は問題ない。"
と書かれていた．

補足情報（FW/ツールのバージョンなど）

https://www.spamcop.net/w3m?action=inprogress
上のサイトにブラックリストのIPアドレスの一覧が載っています．

そのIPアドレスを抜き出すために，chromeでCSSセレクターを自動生成し，soup.select_oneに代入しています．

時間がある時に質問に答えて頂けたら嬉しいです．
よろしくお願いします．

行動規範の内容に同意します

回答1件

ベストアンサー

Chrome でコピペした CSS セレクタは、Beautiful Soup が対応していない擬似クラスが含まれていたり、冗長であったりします。
CSS セレクタはコピペではなく、自分で書きましょう。

python
1import urllib
2from bs4 import BeautifulSoup
3
4url = 'https://www.spamcop.net/w3m?action=inprogress'
5html = urllib.request.urlopen(url)
6soup = BeautifulSoup(html, 'html.parser')
7
8tags = soup.select('tr > td:nth-of-type(3) > a')
9links = [t.text for t in tags]
10print(links)

txt
1['90.143.191.81', '90.143.191.81', '90.143.191.81', '115.209.72.125', '115.209.72.125', '115.209.72.125', '115.209.72.125', '115.209.72.125', '189.211.95.54', '58.54.78.104', '58.54.78.104', '27.22.132.131', '142.93.133.30', '46.138.101.133', '46.138.101.133', '46.138.101.133', '46.138.101.133', '104.254.244.226', '113.120.36.201', 
2以下略

投稿2019/03/13 10:44