質問編集履歴

5

contet

2019/04/19 15:28

投稿

退会済みユーザー
test CHANGED
File without changes
test CHANGED
@@ -1,4 +1,4 @@
1
- Iタウンページマイナビをスクレイピングしていると、webページの親ページから子ページへとどんどん移り変わり、スクピングができないです。この場合どうすれば取得できますか? hiddenとなっている部分を取得するのは可能ですか? ``` python
1
+ Iタウンページマイナビをスクレイピングしていると、webページの親ページだけではなく、子ページもでてきて、スクピングができないです。この場合どうすれば子ページからも取得できますか? また親ページのhiddenとなっている部分を取得するのは可能ですか? ``` python
2
2
 
3
3
 
4
4
 

4

sit

2019/04/19 15:28

投稿

退会済みユーザー
test CHANGED
File without changes
test CHANGED
@@ -26,11 +26,7 @@
26
26
 
27
27
 
28
28
 
29
- driver.get("https://job.mynavi.jp/20/pc/search/query.html?
29
+ driver.get("https://job.mynavi.jp/20/pc/search/corp111623/outline.html")
30
-
31
-
32
-
33
- IC:2,4,5,6,7,8,9,10,11,12,13,14,16,18,20,63,64,67/func=PCTopQuickSearch/20/pc/search/corp85113/outline.html")
34
30
 
35
31
 
36
32
 

3

situmon

2019/04/19 15:15

投稿

退会済みユーザー
test CHANGED
File without changes
test CHANGED
@@ -1,25 +1,49 @@
1
- Iタウンページマイナビをスクレイピングしていると、webページの親ページから子ページへとどんどん移り変わり、スクピングができないです。この場合どうすれば取得できますか? hiddenとなっている部分を取得するのは可能ですか? ```python
1
+ Iタウンページマイナビをスクレイピングしていると、webページの親ページから子ページへとどんどん移り変わり、スクピングができないです。この場合どうすれば取得できますか? hiddenとなっている部分を取得するのは可能ですか? ``` python
2
2
 
3
3
 
4
4
 
5
5
  import time
6
6
 
7
+
8
+
7
9
  from selenium import webdriver
10
+
11
+
8
12
 
9
13
  from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
10
14
 
15
+
16
+
11
17
  cap = DesiredCapabilities().FIREFOX
18
+
19
+
12
20
 
13
21
  cap["marionette"] = True
14
22
 
23
+
24
+
15
25
  driver=webdriver.Firefox()
16
26
 
27
+
28
+
29
+ driver.get("https://job.mynavi.jp/20/pc/search/query.html?
30
+
31
+
32
+
17
- driver.get("https://job.mynavi.jp/20/pc/search/query.html?IC:2,4,5,6,7,8,9,10,11,12,13,14,16,18,20,63,64,67/func=PCTopQuickSearch/20/pc/search/corp85113/outline.html")
33
+ IC:2,4,5,6,7,8,9,10,11,12,13,14,16,18,20,63,64,67/func=PCTopQuickSearch/20/pc/search/corp85113/outline.html")
34
+
35
+
18
36
 
19
37
  time.sleep(3)
20
38
 
39
+
40
+
21
41
  print(driver.page_source)
42
+
43
+
22
44
 
23
45
  print(driver.find_element_by_id("companyHead").text)
24
46
 
47
+
48
+
25
49
  ```

2

situmonn

2019/04/19 14:36

投稿

退会済みユーザー
test CHANGED
File without changes
test CHANGED
@@ -1,4 +1,6 @@
1
1
  Iタウンページマイナビをスクレイピングしていると、webページの親ページから子ページへとどんどん移り変わり、スクピングができないです。この場合どうすれば取得できますか? hiddenとなっている部分を取得するのは可能ですか? ```python
2
+
3
+
2
4
 
3
5
  import time
4
6
 

1

situmon

2019/04/19 14:34

投稿

退会済みユーザー
test CHANGED
File without changes
test CHANGED
@@ -1 +1,23 @@
1
- Iタウンページをスクレイピングしていると、webページの親ページから子ページへとどんどん移り変わり、スクピングができないです。 子ページリンク取得方法はありますか?
1
+ Iタウンページマイナビをスクレイピングしていると、webページの親ページから子ページへとどんどん移り変わり、スクピングができないです。場合どうすれば取得できますか? hiddenとなっている部分を取得するのは可能ですか? ```python
2
+
3
+ import time
4
+
5
+ from selenium import webdriver
6
+
7
+ from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
8
+
9
+ cap = DesiredCapabilities().FIREFOX
10
+
11
+ cap["marionette"] = True
12
+
13
+ driver=webdriver.Firefox()
14
+
15
+ driver.get("https://job.mynavi.jp/20/pc/search/query.html?IC:2,4,5,6,7,8,9,10,11,12,13,14,16,18,20,63,64,67/func=PCTopQuickSearch/20/pc/search/corp85113/outline.html")
16
+
17
+ time.sleep(3)
18
+
19
+ print(driver.page_source)
20
+
21
+ print(driver.find_element_by_id("companyHead").text)
22
+
23
+ ```