正規表現を使ったスクレイピングがうまく動作しない

Question

前提・実現したいこと

現在「Pythonクローリング＆スクレイピング データ収集・解析のための実践開発ガイド」を読みながらクローリング・スクレイピングの勉強をしています。基礎的なことをオンラインで勉強しただけの初心者です。

正規表現でのスクレイピングについて書籍通り？実行しても何も結果が出ず、
https://teratail.com/questions/176253
こちらなどを参考にしてもわからないため質問させていただきました。

書籍の内容

import re
from html import unescape

with open('dp.html') as f:
    html = f.read()

for partical_html in re.findall(r'<a itemprop="url".*?</ur>\s*</a><li>', html, re.DOTALL):
    url = re.search(r'<a itemprop="url" href="(.*?)">', partical_html).group(1)
    url = 'http://sample.scraping-book.com/dp' + url

    title = re.search(r'<p itemprop="name".*?</p>', partical_html).group(0)
    title = title.replace('<br/>', '')
    title = re.sub(r'<.*?>', '', title)
    title = unescape(title)

    print(url, title)

ターミナルでの実行結果がこちらになります。

また、直接今回のエラーとは無関係かもしれませんが、そもそも書籍の流れによれば 'scraping/'ディレクトリを仮想環境として作業しているのですが諸々のpyファイルや、今回クローリングしてきたdp.htmlファイルは一つ上の階層に置いています。
特に書籍で指示はなかったのですが（見落としてるだけかもしれません）、scrapingの中に置くと下記のようなエラーが出るため試行錯誤して上の階層に置きましたがこれは正しいでしょうか？
違和感があるのでこちらも合わせて質問させていただきました。

/usr/local/Cellar/python/3.7.2_2/Frameworks/Python.framework/Versions/3.7/Resources/Python.app/Contents/MacOS/Python: can't open file 'scrape_re.py': [Errno 2] No such file or directory

乱文の上、質問が多岐に渡ってしまいましたが解決方法についてご教授いただけないでしょうか？

Comments

[t_obara]

デバッガを利用してどの様にコードが実行されていくのかお確かめになると分かりやすいのではないでしょうか。

[monty]

デバッガについてもいろいろ調べてみます。
ご指南ありがとうございます

Answer 1

dp.htmlファイルは一つ上の階層に置いています。

ということであれば、with open('dp.html') as f:は、カレントディレクトリからファイルを読み込もうとするので、うまくいかないでしょう。おそらくwith open('../dp.html') as f:ではないでしょうかね。

サンプルスクリプトが仮定しているものと自分の環境が違っていれば、とうぜん適切に調整しなければなりません。考えるのが面倒くさければ常にディレクトリ名を含めたフルパスでファイル指定するようにするというのも一つの方法です。

Comments

[monty]

ご回答ありがとうございます。
../dp.htmlを参照すると`Python: can't open file 'scrape_re.py': [Errno 2] No such file or directory` となります

なお、scraping/フォルダ内のファイル構成は下記のようになっておりこちらで"scrape_re.py"は、"scraping/"フォルダ内に入れていいのでしょうか？
前述のとおり、一つ上の階層（ホームディレクトリ）にdp.htmlやscrape_re.pyがないとファイルがないという冒頭のエラーが出てしまいます。
逆を言えば、仮想環境である"scraping/"にはdp.htmlもscrape_re.pyがなくともエラーは出ません

'''
ユーザー名$ tree scraping/ -L 1
scraping/
├── bin
├── dp.html
├── include
├── lib
├── pyvenv.cfg
├── scrape_re.py
├── urlopen_encoding.py
└── urlopen_meta.py

'''

この構造の問題が今回の壁に関係しているのかどうかも私自身判断できずにいます・・・
初心者のためいただいた回答に対するレスポンスがずれているかもしれませんがご確認のうえお心あたりがあればご教授いただけますと幸いです。

[KojiDoi]

ちょっとおっしゃってることがわからないんですが。dp.htmlは「一つ上の階層においている」のではなかったのですか？
一向に要領を得ないですね。もういちど、そのhtmlファイルと、scrape_re.pyがどこにあるのか確認して、それらをフルパスで書いてみてください。
そして、貴方は今どこにいますか？ つまりカレントディレクトリはどこですか？
この辺の確認があやふやなまま適当にパス設定を変えてみても、一向に問題は解決しませんよ。

[monty]

言葉足らずですいません！

Pythonクローリング＆スクレイピング データ収集・解析のための実践開発ガイド」の書籍どおり開発環境でscarapingを作成し、"$ . scraping/bin/activate"コマンドで仮想環境に入り作業しております。
なお、各ファイルのフルパスは下記のとおりです。

dp.html
/Users/ユーザー名/dp.html
scrape_re.py
/Users/ユーザー名/scrape_re.py

と、ここまで書いてカレントディレクトリについて調べて確認したところ、自分がホームディレクトリにいたことにやっと気づきました…

てっきり、"$ . scraping/bin/activate" で仮想環境に入る＝カレントディレクトリがscraping/に移動しているものだと頭に "(scraping) "と表示されることで勘違いしておりました。。。無知で申し訳ありません。

(scraping) PC名:~ ユーザー名$
↓
(scraping) PC名i:scraping ユーザー名$

ただ、改めて自身をscraping/へ移動の上、dp.htmlとscrape_re.pyのファイルをscraping/ の中に移動し、
"(scraping) PC名:scraping ユーザー名$ python scrape_re.py"としましたが、エラーは出ないものの最初の質問どおり実行結果は変わらずタイトルなど何も表示されないままです。

カレントディレクトリなどの概念についてわかっておらず質問を混乱させてしまい申し訳ありません。
やはりコードなどに問題あるのでしょうか？
度重なる質問で恐縮ですがよろしくお気づきの際はなにとぞお願いいたします。

[KojiDoi]

r'<a itemprop="url".*?</ur>\s*</a><li>'
ここが間違っているので、マッチングが成功せず、forループが実行されないのでしょう。

[monty]

改めて見ると二箇所も間違いがありました…何度か見直したんですがいろいろ知識が追いつかずケアレスミスにおつきあいいただき本当に恐縮です…

修正したうえで実行したところ無事タイトルを取得できました！
本当に本当にありがとうございました。