質問編集履歴
1
タイトル変更
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
scrapy splash でリクエストを送らず
|
|
1
|
+
Pythonスクレイピングライブラリscrapy splash でリクエストを送らず(ページ遷移させず)、lua_scriptを実行・perse_itemの処理を行わせることはできますか？
|
test
CHANGED
|
@@ -2,11 +2,19 @@
|
|
|
2
2
|
|
|
3
3
|
|
|
4
4
|
|
|
5
|
-
scrapy splash でリクエストを送らずに(ページ遷移させず)、lua_scriptを実行・perse_itemの処理を行わせることはできますか？
|
|
5
|
+
Pythonスクレイピングライブラリscrapy splash でリクエストを送らずに(ページ遷移させず)、lua_scriptを実行・perse_itemの処理を行わせることはできますか？
|
|
6
6
|
|
|
7
7
|
また、そういったメソッドがあればご教授ください、、
|
|
8
8
|
|
|
9
|
+
|
|
10
|
+
|
|
11
|
+
行いたい処理としては、ページをクローリングしたあとに２ページ目に進む処理をリクエストではなく、「次へ」をクリックさせたいです
|
|
12
|
+
|
|
9
13
|
下記のソースコードだと、next_pageに遷移しようとしてしまって、クロールしようとしているサイトの仕様上うまく行いたい処理ができません。
|
|
14
|
+
|
|
15
|
+
|
|
16
|
+
|
|
17
|
+
|
|
10
18
|
|
|
11
19
|
|
|
12
20
|
|