Scrapy Splashでレンダリング待ちをしたい

Question

ScrapyとScrapy Splashを利用しあるサイトのスクレイピングをしています。

しかし、対象サイトはHTMLを読み込んだ後にJSで項目を表示するようになっており、完全表示までにブラウザで3～5秒ほどかかります。

Scrapyは1ページ10秒程度のウェイトをかけていますが、Splashからは内容が常に空で返ってきてしまいます。

実現したいこと

1. ScrapyでSplashに読み込み要求
2. Splash側で5秒ほど完全レンダリングを待つ
3. Scrapyで取得

ScrapyでウェイトをかけてもSplashへの要求の前(1の前)で待っているだけで、Splash自体は一瞬で読み込んでしまいJSの部分が空になっています。

• Splash側で完全レンダリングを待つオプションなど
• Splashへ要求を出した後に読み込む方法

このような方法が無いか探しています。

どなたかヒントをお持ちの方は教えてください。

Answer 1

setting.pyの下記コメントアウトを外してみるとうまくいくかもしれません。

AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 5
AUTOTHROTTLE_MAX_DELAY = 60

私は一部しかデータが返ってこない現象でしたが、
自宅の低速ネットワークだと発生し、
会社の高速ネットワークだと発生しなかった（全件取れた）ため、
おそらく原因は同じ内容かと思います。
上記コメントアウトを外すと、自宅でも全件取れるようになりました。

AUTOTHROTTLEはネットワーク速度に合わせて、
自動的にDOWNLOADのDELAY_TIMEを調整してくれる機能の様です。

This is an extension for automatically throttling crawling speed based on load of both the Scrapy server and the website you are crawling.

https://doc.scrapy.org/en/latest/topics/autothrottle.html

Comments

[Take83]

ありがとうございます！
こちらの設定で無事に取得できるようになりました！