前提・実現したいこと
Pythonスクレイピングライブラリscrapy splash でリクエストを送らずに(ページ遷移させず)、lua_scriptを実行・perse_itemの処理を行わせることはできますか?
また、そういったメソッドがあればご教授ください、、
行いたい処理としては、ページをクローリングしたあとに2ページ目に進む処理をリクエストではなく、「次へ」をクリックさせたいです
下記のソースコードだと、next_pageに遷移しようとしてしまって、クロールしようとしているサイトの仕様上うまく行いたい処理ができません。
公式ドキュメントをみてもわからず、質問させていただきました。
拙い文章ですがどうかよろしくお願いいたします。
該当のソースコード
yield scrapy.Request(next_page, callback=self.parse_item, meta={"splash": splash})
あなたの回答
tips
プレビュー