python スクレイピングに関しての質問です。

Question

pythonでsuumo中古物件サイトのスクレイピングに関しての質問です。
以下のhtmlから物件名のみを取得したいのですが、価格まで抽出してしまいます。ウェブサイトなどいくつか参照したのですが、解決方法がわからず・・・
わかる方ぜひご教授していただけると幸いです。初歩的な質問になってしまい申し訳ありません。

<dl>
	<dt class="dottable-vm">物件名</dt>
	<dd class="dottable-vm">シティインデックス千代田岩本町</dd>
</dl>
 <dl>
	<span class="dottable-value">4080万円</span><dt class="dottable-vm">販売価格</dt>
	<dd class="dottable-vm">
	</dd>
</dl>

コード
import requests as re
import pandas as pd
from bs4 import BeautifulSoup
url = 'https://suumo.jp/jj/bukken/ichiran/JJ012FC001/?ar=030&bs=011&ta=13&sc=13101&cn=9999999&cnb=0&et=9999999&hb=0&ht=9999999&kb=1&kj=9&km=1&kt=9999999&mb=0&mt=9999999&ni=9999999&pc=30&pj=1&po=0&tb=0&tj=0&tt=9999999'

res = re.get(url)
soup = BeautifulSoup(res.text,'lxml')
u=soup.find_all('dd',class_='dottable-vm')


実行結果>>>>[<dd class="dottable-vm">シティインデックス千代田岩本町</dd>,
 <dd class="dottable-vm">
 <span class="dottable-value">4080万円</span>
 </dd>

Comments

[otn]

HTMLと実行結果が合ってません。

Answer 1

安直にやるのであれば、
u 変数の偶数Index目に物件名、奇数Index目に価格が入っているので
↓で取得できないでしょうか？

もっと効率の良いやり方はあると思うのですが、取り急ぎであればお役に立てるかと思います

import requests as re
import pandas as pd
from bs4 import BeautifulSoup
url = 'https://suumo.jp/jj/bukken/ichiran/JJ012FC001/?ar=030&bs=011&ta=13&sc=13101&cn=9999999&cnb=0&et=9999999&hb=0&ht=9999999&kb=1&kj=9&km=1&kt=9999999&mb=0&mt=9999999&ni=9999999&pc=30&pj=1&po=0&tb=0&tj=0&tt=9999999'

res = re.get(url)
soup = BeautifulSoup(res.text,'lxml')
u=soup.find_all('dd',class_='dottable-vm')

for i in range(0,len(u)):
  if i%2 == 0:
    print(u[i])

Comments

[AN3000]

こんな規則性をみつけて利用する手もあるんですね。参考になりました！！
本当にありがとうございます！