CSSセレクターを抽出したい（python scraping by BeautifulSoup）

Question

pythonでBeautifulSoupを使いスクレイピングをしています。
CSSセレクターを抽出したいのですが、次の記述だと抽出できない部分があるので、soup.select(" ")の記述の仕方がお分かりになる方がいらっしゃれば教えてください。

次のようにpythonを記述しhtmlをスクレイピングしたところ、、、、

・・・・・（省略）
li_list = soup.select(" div > div > p ")  
for li in li_list:
    a = li.a
    if a != None:
        name = a.string
        href = a.attrs["href"]

        print(name, ">", href)

次のhtmlスクリプト内の２重線より上までは抽出できましたが、
２重線より下の部分がどうしても抽出できません。

２重線より上までは抽出できているのでCSSセレクター抽出の仕方に問題があると考えてますが、解決方法お分かりなればご教示いただければ幸いです。

（なお、seleniumで要素を直接抽出した場合は抽出できたのですが、CSSセレクターで抽出したいです。。）

<div id="search_result" class=“s”>
v<div class="item_box first_item">
v<div class="item">
v<div class="box">
▼<p class="m">
v<a href=“p/d/999999”>
<img src="https://www.○○○>
</a>
</p>
</div>
v<div class="pin_detail">             
<p class="abc”>&abc;pq</p>
▼<p class="title">
<a href="Zname/detail/999999999”>abc /
abc</a>
　　　　　　　　　　　　　　　　　　　　　　　　　　
　　　ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
　　　ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
</p>
<p class=“ptitle”>ABCABC</p>
<p class="release_date">RA:2012/02/20</p>
</div>
v<div class="item_XYZ”>
▼<p class=“XYZ_tei ">              
"○○:"                         
▼<span class="text-red">
<strong>999</strong>
</span>
“&abc; "
</p>
v<p class="timesale mgn">
“note”

<br>
<span class="time">2019-12-08 16:00:00~2019–12–09 15:59:59#T
</span>
</p>
▼<p class=“XYZ_normal">
“normal&nbsp;"
%3D
<span class="s”>\9999</span>
</p>
<p class=“XYZ2_tei”>99999</p>
</div>
</div>

※その他環境　python3,Mac OSX

Answer 1

seleniumを使うことで解決しました