正規表現によるスクレイピング

Question

『python
クローリング&スクレイピング　データ収集・解析のための実践開発のためのガイド』
p４９で与えられたサンプルコードで正規表現によるスクレイピングをしようとしたところエラーが起きました。

コード
import re　
from html import unescape

with open ('dp.html') as f:
    html = f.read



for partial_html in re.findall(r'<a itemprop="url".*?</ul>\s*</a></li>', html, re.DOTALL):

    url = re.search(r'<a itemprop="url" href="(.*?)">', partial_html).group(1)
    url = 'http://sample.scraping-book.com/dp' + url

    title = re.search(r'<p itemprop="name".*?</p>', partial_html).group(0)
    title = title.replace('<br/>', ' ')
    title = re.sub(r'<.*?>', '', title)
    title = unescape(title)

    print(url, title)
``
上記コードをscrape_re_py として保存してターミナルで実行したところ以下のようなエラーが出ました。



　$ python Documents/scrape_re_py
Traceback (most recent call last):
  File "Documents/scrape_re_py", line 9, in <module>
    for partial_html in re.findall(r'<a itemprop="url".*?</ul>\s*</a></li>', html, re.DOTALL):
  File "/Users/kobayashitakashi/anaconda3/lib/python3.7/re.py", line 223, in findall
    return _compile(pattern, flags).findall(string)
TypeError: expected string or bytes-like object

どのように対処したらよいか教えてください。

Answer 1

関数の呼び出し忘れです。

with open ('dp.html') as f:
html = f.read

↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

with open ('dp.html') as f:
    html = f.read()

Comments

[退会済みユーザー]

ありがとうございます。
エラーは発生しなくなったのですが、実行すると書籍のURLとタイトルの一覧が表示されるはずですが、結果が表示されません・・・

[LouiS0616]

dp.htmlってここですかね？https://gihyo.jp/dp

[LouiS0616]

手元で試してみましたが、書籍のURLとタイトルがきちんと表示されました。
dp.htmlの中身が空になっているとか、そのような凡ミスはしていないでしょうか。

[退会済みユーザー]

解決しました！
教えていただきありがとうございます！

Answer 2

with open ('dp.html') as f:
    html = f.read

このコードでは変数htmlにはf.readというメソッドオブジェクトが代入されます。

pythonでは関数・メソッド呼び出しのかっこは省略できません。かっこをつけることでcallされるので、ちゃんとかっこをつけてください。

Comments

[退会済みユーザー]

ありがとうございます。
エラーは発生しなくなったのですが、実行すると書籍のURLとタイトルの一覧が表示されるはずですが、結果が表示されません・・・

[hayataka2049]

re.findall(r'<a itemprop="url".*?</ul>\s*</a></li>', html, re.DOTALL)が空になってループが回っていないのだろうと思いますが、データがないので検証できません。dp.htmlはどこかからダウンロードできますか？

[退会済みユーザー]

おっしゃる通り空でした。
解決しました！
ありがとうございます