質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.04%

Djangoで書かれた?WebサイトをBeautifulSoupでスクレイピングしたい

受付中

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 70

https://www.jrf-reit.com/portfolio/list.html

この不動産投資法人の物件一覧ページから、物件名と住所を取得するのが目標です。

from bs4 import BeautifulSoup
import requests
import urllib

url = 'https://www.jrf-reit.com/portfolio/list.html'

res = requests.get(url)
soup = BeautifulSoup(res.content, 'html.parser')
print(soup.tbody)


結果

<tbody v-bind:key="index" v-for="(item, index) in filtered_data">
<tr>
<td class="thumb" rowspan="2"><a class="tbox" v-bind:href="item.url">
<div><img alt="" v-bind:src="item.thumb"/><span class="filter"></span></div></a></td>
<td class="name" rowspan="2">
<a v-bind:href="item.url">
<p class="summary">{{item.summary}}</p>
<p class="name" v-html="item.name"></p>
<p class="area">{{item.addr}}</p>
</a>
</td>
<td class="time" rowspan="2">{{item.date | shortDate}}</td>
<td class="age" rowspan="2"><span v-if="site == 'IIF'">{{item.build | shortDate}}</span><span v-else="">{{item.build | calcAge}}</span></td>
<td class="space" rowspan="2">{{item.space | localeString}}</td>
<td class="price">{{item.price| localeString}}</td>
<td class="valuation">{{item.valuation| localeString}}</td>
<td class="tenant">{{item.tenant_num}}</td>
<td class="op-rate">{{item.op_rate}}</td>
</tr>
<tr>
<td class="price-ratio">{{calcRatio(item.price, total_price)}}</td>
<td class="value-ratio">{{calcRatio(item.valuation, total_valuation)}}</td>
<td class="major-tenant" colspan="2">
<p><span v-html="item.major_tenant"></span></p>
</td>
</tr>
</tbody>

7-9行目の

<p class="summary">{{item.summary}}</p>
<p class="name" v-html="item.name"></p>
<p class="area">{{item.addr}}</p>

このあたりが欲しい情報だと思いますが、見ると実際の物件名や住所ではなく、{{item.addr}}などと書かれています。
Djangoのテンプレートエンジンを使ったcontext?のように見えますが、欲しいのはGビル南青山02
東京都港区南青山五丁目8番5号などのような実際の名前です。
このような情報はどうやって取得したらよいのでしょうか?

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

0

下記で出来ます。

print(soup.body)

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/11/09 18:47

    `print(soup.body)`
    で取得できるのは、やはり実際の物件名や住所ではありません。
    例えば
    `print(soup.select('th')`で表の部分の中身を取得しようとすると、
    こちらが返ってきました。

    ```
    [<th rowspan="3">物件イメージ</th>, <th class="sortable" rowspan="3">物件名称
    <div class="arrow">
    <span class="asc" v-bind:class="{active:(sort_key == 'name' &amp;&amp; sort_order == 'A')}" v-on:click="execSort('name','A')"></span>
    <span class="desc" v-bind:class="{active:(sort_key == 'name' &amp;&amp; sort_order == 'D')}" v-on:click="execSort('name','D')"></span>
    </div>
    </th>, <th class="sortable" rowspan="3">取得時期
    <div class="arrow">
    <span class="asc" v-bind:class="{active:(sort_key == 'date' &amp;&amp; sort_order == 'A')}" v-on:click="execSort('date','A')"></span>
    <span class="desc" v-bind:class="{active:(sort_key == 'date' &amp;&amp; sort_order == 'D')}" v-on:click="execSort('date','D')"></span>
    </div>
    </th>, <th class="sortable" rowspan="3">
    <span v-if="site == 'IIF'">建築時期</span><span v-else="">築年数(年.ヶ月)</span>
    <sup>※2</sup>
    <div class="arrow">
    <span class="asc" v-bind:class="{active:(sort_key == 'build' &amp;&amp; sort_order == 'A')}" v-on:click="execSort('build','A')"></span>
    <span class="desc" v-bind:class="{active:(sort_key == 'build' &amp;&amp; sort_order == 'D')}" v-on:click="execSort('build','D')"></span>
    </div>
    </th>, <th class="sortable" rowspan="3">総賃貸可能面積(㎡)<sup>※3</sup>
    <div class="arrow">
    <span class="asc" v-bind:class="{active:(sort_key == 'space' &amp;&amp; sort_order == 'A')}" v-on:click="execSort('space','A')"></span>
    <span class="desc" v-bind:class="{active:(sort_key == 'space' &amp;&amp; sort_order == 'D')}" v-on:click="execSort('space','D')"></span>
    </div>
    </th>, <th class="sortable" rowspan="2">取得価格<br/>(百万円)
    <div class="arrow">
    <span class="asc" v-bind:class="{active:(sort_key == 'price' &amp;&amp; sort_order == 'A')}" v-on:click="execSort('price','A')"></span>
    <span class="desc" v-bind:class="{active:(sort_key == 'price' &amp;&amp; sort_order == 'D')}" v-on:click="execSort('price','D')"></span>
    </div>
    </th>, <th class="sortable" rowspan="2">鑑定評価額・期末算定価額<br/>(百万円)<sup>※4</sup>
    <div class="arrow">
    <span class="asc" v-bind:class="{active:(sort_key == 'valuation' &amp;&amp; sort_order == 'A')}" v-on:click="execSort('valuation','A')"></span>
    <span class="desc" v-bind:class="{active:(sort_key == 'valuation' &amp;&amp; sort_order == 'D')}" v-on:click="execSort('valuation','D')"></span>
    </div>
    </th>, <th colspan="2">テナント<sup>※5</sup></th>, <th class="sortable">数
    <div class="arrow">
    <span class="asc" v-bind:class="{active:(sort_key == 'tenant_num' &amp;&amp; sort_order == 'A')}" v-on:click="execSort('tenant_num','A')"></span>
    <span class="desc" v-bind:class="{active:(sort_key == 'tenant_num' &amp;&amp; sort_order == 'D')}" v-on:click="execSort('tenant_num','D')"></span>
    </div>
    </th>, <th>稼働率(%)<sup>※6</sup></th>, <th>(%)</th>, <th>(%)</th>, <th colspan="2">主要テナント</th>]
    ```

    `<span class="asc" v-bind:class="{active:(sort_key == 'name' &amp;&amp; sort_order == 'A')}" v-on:click="execSort('name','A')"></span>`

    ここに名前が入っていると思いますが、実際の名前を拾うにはどうしたらよいでしょうか?

    キャンセル

  • 2019/11/11 11:26

    print(soup.tbody)

    ではなく、

    print(soup.body)

    でも無理ですか?

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.04%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる