teratail
回答率
85.35%
teratail header banner
teratail header banner
質問するログイン新規登録
トップに関する質問VSCを使ってwebクローニング・スクレイピングをしたい！！！

編集履歴

質問編集履歴

5

修正

2021/09/09 14:18

投稿

sk0424
sk0424

スコア0

test CHANGED
@@ -1 +1 @@
1
- chromedriverに関してのエラー(/chromedriver unexpectedly exited. Status code was: -9)
1
+ VSCを使ってwebクローニング・スクレイピングをしたい！！！
test CHANGED
File without changes

4

修正

2021/09/09 14:18

投稿

sk0424
sk0424

スコア0

test CHANGED
File without changes
test CHANGED
@@ -1,14 +1,12 @@
1
1
  ### 解決したいこと
2
2
 
3
- exectable_pathを指定して、スクレイピングしたい！！
3
+ VSCを使ってwebクローニング・スクレイピングをしたい！！！
4
-
5
-
6
4
 
7
5
 
8
6
 
9
7
  現状)
10
8
 
11
- python初学者です。seleniumを使ったスクレイピングを学ぼうと
9
+ python初学者です。seleniumを使ったwebクローニング・スクレイピングを学ぼうと
12
10
 
13
11
  chromedriverをインストールしました。
14
12
 
@@ -18,79 +16,13 @@
18
16
 
19
17
 
20
18
 
21
- #### エラー①（executable_pathを指定しない場合）
19
+ #### エラー
22
20
 
23
- JupyterLab上で、下記コーディングを行なったところ無事クローニングできました。
21
+ 下記コードをJupyterLabで実装したところ、無事yahooの画像検索ができ、sleepも順調に出来ました！！
24
22
 
25
- ※この動作が成功するなら、問題ないと最初は安堵していました、、、。
23
+ しかし、、、
26
24
 
27
25
 
28
-
29
- ```python
30
-
31
- from time import sleep
32
-
33
-
34
-
35
- from selenium import web
36
-
37
- from selenium.webdriver.Chrome.options import Optisons
38
-
39
-
40
-
41
- options = Options()
42
-
43
- options.add_argument('--incognito')
44
-
45
-
46
-
47
- driver = webdriver.Chrome(executable_path = chrome_path, options =options)
48
-
49
-
50
-
51
- url = 'https://tech-diary.net'
52
-
53
- driver.get(url)
54
-
55
-
56
-
57
- sleep(5)
58
-
59
-
60
-
61
- driver.quit()
62
-
63
- ```
64
-
65
-
66
-
67
-
68
-
69
- しかし、vscode上で全く同じコーディングを行うと、下記のようなエラーが出てしまいました。
70
-
71
-
72
-
73
-
74
-
75
- ↓↓エラー↓↓
76
-
77
- ```python
78
-
79
- selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home
80
-
81
-
82
-
83
-
84
-
85
- ```
86
-
87
-
88
-
89
-
90
-
91
- #### エラー②(exectable_pathを指定した場合)
92
-
93
- また、exectable_pathを指定してJupyterLab上でクローニングをしようとすると、下記のようなエラーが出てしまいました。
94
26
 
95
27
  ```python
96
28
 
@@ -154,29 +86,21 @@
154
86
 
155
87
 
156
88
 
157
- ↓↓エラー↓↓
158
89
 
90
+
159
- ![イメージ説明](ece1ae78ea1f23e4a9c9494414c2119b.png)
91
+ しかし、vscode上で全く同じコーディングを行うと、下記のようにな画面で止まり
160
92
 
161
93
 
162
94
 
163
- okを押すと、、、、
164
-
165
- 下記のようなエラーが出ました。。。
95
+ Chrome上でのクローニングが上手く出来ません????????
166
-
167
- ```python
168
-
169
- WebDriverException: Message: Service /Users/sk0424/Desktop/ScraipingBeginner-main/chromedriver unexpectedly exited. Status code was: -9
170
-
171
- ```
172
96
 
173
97
 
174
98
 
175
- こちらは、vscode上でも全く同じエラーが出ました。。。
99
+ ![イメージ説明](7da4b7af26f9a3c85d9656dc9230065e.png)
176
100
 
177
101
 
178
102
 
179
- pathを指定した上でクローニングをしたいのですが
103
+
180
104
 
181
105
  同じようなエラーに直面して解決された方はいらっしゃいますでしょうか????
182
106
 

3

完了しました。

2021/09/09 14:16

投稿

sk0424
sk0424

スコア0

test CHANGED
File without changes
test CHANGED
@@ -187,3 +187,7 @@
187
187
  ※本質問は、どうしても解決したい為、他のwebサイト上でも質問として投稿させて頂いております。（マルチポストしております）
188
188
 
189
189
  https://qiita.com/marcopagot/questions/31bd4a14cf9f1ccdddff
190
+
191
+
192
+
193
+ ![イメージ説明](7da4b7af26f9a3c85d9656dc9230065e.png)

2

markdown記法でのエラー記載

2021/09/09 12:24

投稿

sk0424
sk0424

スコア0

test CHANGED
File without changes
test CHANGED
@@ -20,25 +20,71 @@
20
20
 
21
21
  #### エラー①（executable_pathを指定しない場合）
22
22
 
23
- JupyterLab上で、下記画像のコーディングを行なったところ無事クローニングできました。
23
+ JupyterLab上で、下記コーディングを行なったところ無事クローニングできました。
24
24
 
25
25
  ※この動作が成功するなら、問題ないと最初は安堵していました、、、。
26
26
 
27
+
28
+
29
+ ```python
30
+
27
- ![イメージ説明](8002ccfa904956772971a858057ce1d9.png)
31
+ from time import sleep
28
32
 
29
33
 
30
34
 
35
+ from selenium import web
36
+
31
- しかし、vscode上で同じ動作を行ったのですが、下記のようなエラーが出てしまいました。
37
+ from selenium.webdriver.Chrome.options import Optisons
32
38
 
33
39
 
34
40
 
41
+ options = Options()
42
+
35
- ![イメージ説明](92f42d3e7a75b64aa5cab64720e23d23.png)
43
+ options.add_argument('--incognito')
44
+
45
+
46
+
47
+ driver = webdriver.Chrome(executable_path = chrome_path, options =options)
48
+
49
+
50
+
51
+ url = 'https://tech-diary.net'
52
+
53
+ driver.get(url)
54
+
55
+
56
+
57
+ sleep(5)
58
+
59
+
60
+
61
+ driver.quit()
62
+
63
+ ```
64
+
65
+
66
+
67
+
68
+
69
+ しかし、vscode上で全く同じコーディングを行うと、下記のようなエラーが出てしまいました。
70
+
71
+
36
72
 
37
73
 
38
74
 
39
75
  ↓↓エラー↓↓
40
76
 
77
+ ```python
78
+
41
- ![イメージ説明](763768274032a472ab3792fc16a741a9.png)
79
+ selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home
80
+
81
+
82
+
83
+
84
+
85
+ ```
86
+
87
+
42
88
 
43
89
 
44
90
 
@@ -46,7 +92,67 @@
46
92
 
47
93
  また、exectable_pathを指定してJupyterLab上でクローニングをしようとすると、下記のようなエラーが出てしまいました。
48
94
 
95
+ ```python
96
+
97
+ from time import sleep
98
+
99
+
100
+
101
+ from selenium import webdriver
102
+
103
+ from selenium.webdriver.chrome.options import Options
104
+
105
+
106
+
107
+
108
+
109
+ chrome_path = '/Users/sk0424/Desktop/ScraipingBeginner-main/chromedriver'
110
+
111
+
112
+
113
+ options = Options()
114
+
115
+ options.add_argument('--incognito')
116
+
117
+
118
+
119
+ driver = webdriver.Chrome(executable_path=chrome_path, options=options)
120
+
49
- ![イメージ説明](e2d8a81786ebf7e698c04eb6106a69b0.png)
121
+ driver = webdriver.Chrome(options=options)
122
+
123
+
124
+
125
+
126
+
127
+ url = 'https://search.yahoo.co.jp/image'
128
+
129
+ driver.get(url)
130
+
131
+
132
+
133
+ sleep(3)
134
+
135
+
136
+
137
+ query = 'プログラミング'
138
+
139
+ search_box = driver.find_element_by_class_name("SearchBox__searchInput")
140
+
141
+ search_box.send_keys(query)
142
+
143
+ search_box.submit()
144
+
145
+
146
+
147
+ seleep(3)
148
+
149
+
150
+
151
+ driver.quit()
152
+
153
+ ```
154
+
155
+
50
156
 
51
157
  ↓↓エラー↓↓
52
158
 
@@ -58,7 +164,11 @@
58
164
 
59
165
  下記のようなエラーが出ました。。。
60
166
 
167
+ ```python
168
+
61
- ![イメージ説明](c202a55b2d541583a7c65438c7491b2a.png)
169
+ WebDriverException: Message: Service /Users/sk0424/Desktop/ScraipingBeginner-main/chromedriver unexpectedly exited. Status code was: -9
170
+
171
+ ```
62
172
 
63
173
 
64
174
 

1

マルチポスト理由

2021/09/09 10:07

投稿

sk0424
sk0424

スコア0

test CHANGED
File without changes
test CHANGED
@@ -71,3 +71,9 @@
71
71
  同じようなエラーに直面して解決された方はいらっしゃいますでしょうか????
72
72
 
73
73
  何卒、ご教示の程宜しくお願いします????‍♂️
74
+
75
+
76
+
77
+ ※本質問は、どうしても解決したい為、他のwebサイト上でも質問として投稿させて頂いております。（マルチポストしております）
78
+
79
+ https://qiita.com/marcopagot/questions/31bd4a14cf9f1ccdddff