質問編集履歴
5
contet
test
CHANGED
File without changes
|
test
CHANGED
@@ -1,4 +1,4 @@
|
|
1
|
-
Iタウンページマイナビをスクレイピングしていると、webページの親ページ
|
1
|
+
Iタウンページやマイナビをスクレイピングしていると、webページの親ページだけではなく、子ページもでてきて、スクピングができないです。この場合どうすれば子ページからも取得できますか? また親ページのhiddenとなっている部分を取得するのは可能ですか? ``` python
|
2
2
|
|
3
3
|
|
4
4
|
|
4
sit
test
CHANGED
File without changes
|
test
CHANGED
@@ -26,11 +26,7 @@
|
|
26
26
|
|
27
27
|
|
28
28
|
|
29
|
-
driver.get("https://job.mynavi.jp/20/pc/search/
|
29
|
+
driver.get("https://job.mynavi.jp/20/pc/search/corp111623/outline.html")
|
30
|
-
|
31
|
-
|
32
|
-
|
33
|
-
IC:2,4,5,6,7,8,9,10,11,12,13,14,16,18,20,63,64,67/func=PCTopQuickSearch/20/pc/search/corp85113/outline.html")
|
34
30
|
|
35
31
|
|
36
32
|
|
3
situmon
test
CHANGED
File without changes
|
test
CHANGED
@@ -1,25 +1,49 @@
|
|
1
|
-
Iタウンページマイナビをスクレイピングしていると、webページの親ページから子ページへとどんどん移り変わり、スクピングができないです。この場合どうすれば取得できますか? hiddenとなっている部分を取得するのは可能ですか? ```python
|
1
|
+
Iタウンページマイナビをスクレイピングしていると、webページの親ページから子ページへとどんどん移り変わり、スクピングができないです。この場合どうすれば取得できますか? hiddenとなっている部分を取得するのは可能ですか? ``` python
|
2
2
|
|
3
3
|
|
4
4
|
|
5
5
|
import time
|
6
6
|
|
7
|
+
|
8
|
+
|
7
9
|
from selenium import webdriver
|
10
|
+
|
11
|
+
|
8
12
|
|
9
13
|
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
|
10
14
|
|
15
|
+
|
16
|
+
|
11
17
|
cap = DesiredCapabilities().FIREFOX
|
18
|
+
|
19
|
+
|
12
20
|
|
13
21
|
cap["marionette"] = True
|
14
22
|
|
23
|
+
|
24
|
+
|
15
25
|
driver=webdriver.Firefox()
|
16
26
|
|
27
|
+
|
28
|
+
|
29
|
+
driver.get("https://job.mynavi.jp/20/pc/search/query.html?
|
30
|
+
|
31
|
+
|
32
|
+
|
17
|
-
|
33
|
+
IC:2,4,5,6,7,8,9,10,11,12,13,14,16,18,20,63,64,67/func=PCTopQuickSearch/20/pc/search/corp85113/outline.html")
|
34
|
+
|
35
|
+
|
18
36
|
|
19
37
|
time.sleep(3)
|
20
38
|
|
39
|
+
|
40
|
+
|
21
41
|
print(driver.page_source)
|
42
|
+
|
43
|
+
|
22
44
|
|
23
45
|
print(driver.find_element_by_id("companyHead").text)
|
24
46
|
|
47
|
+
|
48
|
+
|
25
49
|
```
|
2
situmonn
test
CHANGED
File without changes
|
test
CHANGED
@@ -1,4 +1,6 @@
|
|
1
1
|
Iタウンページマイナビをスクレイピングしていると、webページの親ページから子ページへとどんどん移り変わり、スクピングができないです。この場合どうすれば取得できますか? hiddenとなっている部分を取得するのは可能ですか? ```python
|
2
|
+
|
3
|
+
|
2
4
|
|
3
5
|
import time
|
4
6
|
|
1
situmon
test
CHANGED
File without changes
|
test
CHANGED
@@ -1 +1,23 @@
|
|
1
|
-
Iタウンページをスクレイピングしていると、webページの親ページから子ページへとどんどん移り変わり、スクピングができないです。
|
1
|
+
Iタウンページマイナビをスクレイピングしていると、webページの親ページから子ページへとどんどん移り変わり、スクピングができないです。この場合どうすれば取得できますか? hiddenとなっている部分を取得するのは可能ですか? ```python
|
2
|
+
|
3
|
+
import time
|
4
|
+
|
5
|
+
from selenium import webdriver
|
6
|
+
|
7
|
+
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
|
8
|
+
|
9
|
+
cap = DesiredCapabilities().FIREFOX
|
10
|
+
|
11
|
+
cap["marionette"] = True
|
12
|
+
|
13
|
+
driver=webdriver.Firefox()
|
14
|
+
|
15
|
+
driver.get("https://job.mynavi.jp/20/pc/search/query.html?IC:2,4,5,6,7,8,9,10,11,12,13,14,16,18,20,63,64,67/func=PCTopQuickSearch/20/pc/search/corp85113/outline.html")
|
16
|
+
|
17
|
+
time.sleep(3)
|
18
|
+
|
19
|
+
print(driver.page_source)
|
20
|
+
|
21
|
+
print(driver.find_element_by_id("companyHead").text)
|
22
|
+
|
23
|
+
```
|