Beautiful Soup 4で簡単なスクレイピングができない…stringが効かない…

Question

###前提・実現したいこと
こんにちは！
Python3.5でスクレイピングをしています。
Beautiful Soup 4で簡単なスクレイピングができません…。

結果が「1」になるのを期待して、こういうコードを書きました。

from bs4 import BeautifulSoup as soup
html = '0<span class="a">1<span class="b">2</span></span>'
doc = soup(html, "lxml")
print(doc.find("span", class_ = "a").string)

だめでした…。

AttributeError: 'NoneType' object has no attribute 'string'

と表示されます。

###試したこと
最後の行を少し書き換えました。

from bs4 import BeautifulSoup as soup
html = '0<span class="a">1<span class="b">2</span></span>'
doc = soup(html, "lxml")
print(doc.find("span", class_ = "a"))

このように表示されました。

<span class="a">1<span class="b">2</span></span>

なるほど？

こんどは最後の行を戻して、今度は2行目の変数htmlを少し書き換えました。

from bs4 import BeautifulSoup as soup
html = '0<span class="a">1</span>'
doc = soup(html, "lxml")
print(doc.find("span", class_ = "a").string)

1

ちゃんと「1」が出力されました！
いいところまで来てると思うんですが…。

カンタンなことかもしれないんですが、アドバイスをください！

Answer 1

普段使わないパッケージの挙動を見るときに、ドキュメントをみることのほかに、よく__dict__メソッドを使って覗いてみることが多いです。

>>> from bs4 import BeautifulSoup as soup
>>> html = '0<span class="a">1<span class="b">2</span></span>'
>>> doc = soup(html, "lxml")
>>> elm = doc.find("span", class_ = "a")
>>> import pprint
>>> pprint.pprint(elm.__dict__)
{'attrs': {'class': ['a']},
 'can_be_empty_element': False,
 'contents': ['1', <span class="b">2</span>],
 'hidden': False,
 'known_xml': False,
 'name': 'span',
 'namespace': None,
 'next_element': '1',
 'next_sibling': None,
 'parent': <p>0<span class="a">1<span class="b">2</span></span></p>,
 'parser_class': <class 'bs4.BeautifulSoup'>,
 'prefix': None,
 'preserve_whitespace_tags': {'pre', 'textarea'},
 'previous_element': '0',
 'previous_sibling': '0'}>}

見てみると、BeautifulSoupはfindで取ってきた要素の子要素はcontentsを使って管理しており、かつ、素のテキストも別々に分けてくれているみたいです。

というわけで、上記の場合だとelm.contents[0]で取れるっぽいですね。

>>> elm.contents[0]
'1'
>>> print(doc.find("span", class_ = "a").contents[0])
1

以下、ただのおまけ

興味本位でこんな形式で試してみました。

>>> html = '0<span class="a">1<span class="b">2</span>12</span>'
>>> doc = soup(html, "lxml")
>>> elm = doc.find("span", class_ = "a")
>>> elm.contents
['1', <span class="b">2</span>, '12']

Comments

[hacosato]

ありがとうございました。無事に動かすことができました！

https://www.crummy.com/software/BeautifulSoup/bs4/doc/#contents-and-children
ドキュメントに.contentsめっちゃ書いてありました。
.stringしか使ったことなかったけど、それは.contentsの一部なのか…！

__dict__はクラスを定義したりするときに活用するものでしょうか？
また勉強します…！

[attakei]

大まかに書くと、__dict__はPythonのオブジェクトを辞書(dict)とみなしてアクセスできるようにする特殊なプロパティです。

そのオブジェクトのプロパティやらメソッドやらがそのまま保持されていることがあるので、
自分は今回のように最終手段的にプロパティなどがどう格納されているかを見るのに使ったりしてます。

Answer 2

CSSセレクタで指定すると便利です

# -*- coding: utf-8 -*-

from bs4 import BeautifulSoup as soup
html = '0<span class="a">1<span class="b">2</span></span>'
doc = soup(html, 'html.parser')
#CSSセレクタで「<span class="b">2</span>」を削除
doc.select('span.b')[0].extract()
#CSSセレクタで要素を取得
doc = doc.select('span.a')
result = doc[0].get_text()
print(result)

Comments

[hacosato]

ありがとうございました。
CSSセレクタ、ぜんぜん使えないのでお勉強します。
わたしとしては、extract()というのを知ったのが発見でした。
extractを活用して、わたしがいままで指定していたような方法でもうまく動かすことができました♪

from bs4 import BeautifulSoup as soup
html = '0<span class="a">1<span class="b">2</span></span>'
doc = soup(html, 'html.parser')
#CSSセレクタで「<span class="b">2</span>」を削除
doc.find("span", class_ = "b").extract()
#CSSセレクタで要素を取得
doc = doc.find("span", class_ = "a")
result = doc.string
print(result)