前提・実現したいこと
クローラーを作る練習として、様々な銀行の住宅ローンの金利情報を並べるクローラーを設計しようと思っています。
■質問内容
ソニー銀行の住宅ローンページにて(http://moneykit.net/visitor/rate/hl.html)
scrapy shell を使い、xpathの特定をしているのですが、金利情報が何度やっても結果が[]で帰ってきます。
どうしたら金利の数値を取得できますでしょうか。
また、当該ページの金利情報ように、表であらわされている情報を取得する方法もご教示頂きたいです。
発生している問題・エラーメッセージ
リストソニー銀行の住宅ローンのページにある、金利情報の表の情報を取りたいと考えています。
上記URL内の、新規購入で自己資金10%以上、
変動セレクト住宅ローン、2018年05月、変動金利
0.457% の部分をクロームの右クリックの検証で開発者ツールを開き、そこからxpathをコピー
//*[@id="ratetbl01"]/tbody/tr[1]/td[1]
という値が出てきます。
下記コードをscrapyに打ち込んでも、空の[]がかえってきます。
該当のソースコード
scrapy shell http://moneykit.net/visitor/rate/hl.html
response.xpath('//*[@id="ratetbl01"]/tbody/tr[1]/td[1]').extract()
試したこと
金利以外の文言については、右クリックの検証から取得するxpathで取得できることを確認済み
他の銀行の住宅ローンページ(三菱東京UFJ)でも同様に金利情報の数値がxpathを入力しても取得できません。
補足情報(FW/ツールのバージョンなど)
python 3.6.4
scrapy 1.5.0
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。