【scrapy】ブラウザ(Chrome)確認時と同じUser-Agentを設定しているにも関わらず、レスポンス内容が異なる

前提・実現したいこと

scrapyを使ってクローリングをしたいと思っています。

発生している問題・エラーメッセージ

以下ページに対してクローリングを行ったのですが、ブラウザ(Chrome)で確認した時とは異なるレスポンスでした。
https://yoyaku.sports.metro.tokyo.jp/web/

######scrapy crawlコマンドでクロールした際のレスポンス

<html><head><title>TMGBC&nbsp;東京都スポーツ施設サービス</title><meta http-equiv="content-type" content="text/html;charset=shift_jis"><meta http-equiv="Pragma" content="no-cache"><meta http-equiv="expires" content="Sun, 10 Jan 1990 01:01:01 GMT"></head><script type="text/javascript" src="js/paw_common.js"></script><script type="text/javascript" src="js/paw_errormsg.js"></script><FRAMESET ROWS="170,*"><FRAME SRC="pawae1001.jsp;jsessionid=6OQJADB270OJ2CR3CCSJICJ374OMCE1I6HJ38OPH6LH670ARAK36Q08001Q00000.web2_cluster_1_001" NAME="pawae1001" MARGINWIDTH="0" MARGINHEIGHT="0" SCROLLING="no" FRAMEBORDER="0"  onLoad="javaScript:errorMsg('', 0)"><FRAMESET COLS="220,*"><FRAME SRC="pawae1002.jsp;jsessionid=6OQJADB270OJ2CR3CCSJICJ374OMCE1I6HJ38OPH6LH670ARAK36Q08001Q00000.web2_cluster_1_001" NAME="pawae1002" MARGINWIDTH="0" MARGINHEIGHT="0" SCROLLING="auto" FRAMEBORDER="0" ><FRAME SRC="pawae1003.jsp;jsessionid=6OQJADB270OJ2CR3CCSJICJ374OMCE1I6HJ38OPH6LH670ARAK36Q08001Q00000.web2_cluster_1_001#chui" NAME="pawae1003" MARGINWIDTH="0" MARGINHEIGHT="0" SCROLLING="auto" FRAMEBORDER="0" ></FRAMESET><noframes><body bgcolor="#ffffff" text="#333333" link="#3366cc" vlink="#9966cc" alink="#ff3366" leftmargin="0" topmargin="0" marginwidth="0" marginheight="0"onload="javaScript:msgHide();javaScript:errorMsg('', 0);startInitTimer()"><script type="text/javascript">loadMsgWrite(this.document);
</script>このページはフレームを使用しています。<BR>フレーム対応のブラウザを使用して下さい。<script type="text/javascript">endTagWrite(this.document);</script></body></noframes></FRAMESET></html>

toei_spider.py

import scrapy
import boto3

class ToeiSpider(scrapy.Spider):
    name = "toei"
    allowed_domains = ['yoyaku.sports.metro.tokyo.jp']
    start_urls = [
        'https://yoyaku.sports.metro.tokyo.jp/web/'
    ]


    def parse(self, response):
        # test = response.css('frame.pawae1002')
        print(response.text)

試したこと

レスポンス内容から見るに、User-Agentが原因だと思い、Chromeと同じエージェントをsettings.pyで設定し、リクエスト内容からもエージェントが正常に設定されていることを確認しましたが、結果は変わりませんでした。

setting.py

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'

scrapy crawlコマンド実行結果の抜粋

2019-09-06 11:28:39 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'tennisc', 'NEWSPIDER_MODULE': 'tennisc.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['tennisc.spiders'], 'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'}

原因

User-Agent以外にレスポンス内容を変える可能性があるリクエストヘッダ等ありますでしょうか？

kairi003

2019/09/06 19:12

ページのソースを確認してみたのですが何が違うのかわかりません。framesetのクエリにjsessionidがあるかくらいで表示に大差は無いようにみえます。 https://difff.jp/3sjwq.html

yhamano1

2019/09/07 13:14 編集

すみません。ページソースをこちらでも確認するとほぼ相違ありませんでした。ブラウザ開発ツールで確認すると、jspで生成したHTMLも表示されるのですが、scrapyでクロールした結果には表示されませんでした。例えば、ブラウザ開発ツールで確認すると、以下の<FRAM>タグの後に、 #document があり、それ以降にHTML情報が表示されています。 ''' <FRAME SRC="pawae1002.jsp;jsessionid=C9HMCP1M6LIJ2PJ56OOM4P33C4QJ8D1K74Q3GCHNCLJ66NMMPS5MQ08002FG0000.web3_cluster_1_001" NAME="pawae1002" MARGINWIDTH="0" MARGINHEIGHT="0" SCROLLING="auto" FRAMEBORDER="0" > ''' #document以下の情報を取得するためにはどうすればよいのでしょうか？

行動規範の内容に同意します

回答2件

ベストアンサー

aタグのhrefをリンクとして解釈するように、frameタグのsrc属性の値をurlとして取得してクロールすればいいと思います。srcにurlが与えられているframeは、要は「srcのurlのページを表示する」という部分なので。
開発者ツールで確認できる動的ソースはframe部分がブラウザによって展開されsrc先が挿入されたものです。

実際、srcの値を現在のurlとurljoinしたものhttps://yoyaku.sports.metro.tokyo.jp/web/pawae1002.jsp;jsessionid=C9HMCP1M6LIJ2PJ56OOM4P33C4QJ8D1K74Q3GCHNCLJ66NMMPS5MQ08002FG0000.web3_cluster_1_001にアクセスすればframeの中身だけのページが見れます。

投稿2019/09/07 17:01

編集2019/09/07 17:04

kairi003

総合スコア1330

yhamano1

2019/09/09 10:32

ありがとうございます！取得できました！

行動規範の内容に同意します

該当サイトのソースには通常のHTMLに加えて

<noframes>
<body bgcolor="#ffffff" text="#333333" link="#3366cc" vlink="#9966cc" alink="#ff3366" leftmargin="0" topmargin="0" marginwidth="0" marginheight="0"onload="javaScript:msgHide();javaScript:errorMsg('', 0);startInitTimer()">
<script type="text/javascript">loadMsgWrite(this.document);</script>
このページはフレームを使用しています。<BR>フレーム対応のブラウザを使用して下さい。
<script type="text/javascript">endTagWrite(this.document);</script>
</body>
</noframes>

と記載されていました。
HTMLとしては一枚のものを受け取っているはずで、 Scrapy 側で noframes の方を表示しているように思います。
が、設定項目等すぐに見つからなかったため、 response.text ではなく response.body で読み取ってみてはいかがでしょう

投稿2019/09/06 13:12