回答編集履歴
3
補足
test
CHANGED
|
@@ -12,7 +12,9 @@
|
|
|
12
12
|
|
|
13
13
|
```
|
|
14
14
|
|
|
15
|
+
※取得できない原因
|
|
16
|
+
|
|
15
|
-
|
|
17
|
+
print(html)をすると分かるのです、コンテンツがJavaScriptになっています。
|
|
16
18
|
|
|
17
19
|
BeautifulSoupはJavaScriptを実行せずに、静的なHTMLタグを解析するため要素の取得ができません。
|
|
18
20
|
|
2
追記
test
CHANGED
|
@@ -10,9 +10,19 @@
|
|
|
10
10
|
|
|
11
11
|
2,何も出力されない件について(※)
|
|
12
12
|
|
|
13
|
-
|
|
13
|
+
```
|
|
14
14
|
|
|
15
|
+
※取得できない原因はprint(html)をすると分かるのです、JavaScriptになっています。
|
|
16
|
+
|
|
17
|
+
BeautifulSoupはJavaScriptを実行せずに、静的なHTMLタグを解析するため要素の取得ができません。
|
|
18
|
+
|
|
19
|
+
```
|
|
20
|
+
|
|
21
|
+
|
|
22
|
+
|
|
15
|
-
googleは[機械的なAccessを規約により禁止](https://support.google.com/webmasters/answer/66357)しています、スクレイピングするならば他のサイトが良いでしょう。
|
|
23
|
+
あとgoogleは[機械的なAccessを規約により禁止](https://support.google.com/webmasters/answer/66357)しています、スクレイピングするならば他のサイトが良いでしょう。
|
|
24
|
+
|
|
25
|
+
URLをyahooに変更するとスクレイピングできるのでは。
|
|
16
26
|
|
|
17
27
|
|
|
18
28
|
|
|
@@ -21,9 +31,3 @@
|
|
|
21
31
|
Scraper('https://www.yahoo.co.jp').scrape()
|
|
22
32
|
|
|
23
33
|
```
|
|
24
|
-
|
|
25
|
-
|
|
26
|
-
|
|
27
|
-
※取得できない原因はprint(html)をすると分かるのです、JavaScriptになっています。
|
|
28
|
-
|
|
29
|
-
BeautifulSoupは静的なHTMLタグを解析するため、要素の取得ができないのです。
|
1
追記
test
CHANGED
|
@@ -14,6 +14,8 @@
|
|
|
14
14
|
|
|
15
15
|
googleは[機械的なAccessを規約により禁止](https://support.google.com/webmasters/answer/66357)しています、スクレイピングするならば他のサイトが良いでしょう。
|
|
16
16
|
|
|
17
|
+
|
|
18
|
+
|
|
17
19
|
```Python
|
|
18
20
|
|
|
19
21
|
Scraper('https://www.yahoo.co.jp').scrape()
|
|
@@ -25,9 +27,3 @@
|
|
|
25
27
|
※取得できない原因はprint(html)をすると分かるのです、JavaScriptになっています。
|
|
26
28
|
|
|
27
29
|
BeautifulSoupは静的なHTMLタグを解析するため、要素の取得ができないのです。
|
|
28
|
-
|
|
29
|
-
|
|
30
|
-
|
|
31
|
-
■参考情報として
|
|
32
|
-
|
|
33
|
-
[以前スクレイピングの可否について纏めましたシートがあるので](https://docs.google.com/spreadsheets/d/1qIeVB2UKXIVhOukYfaB9h6cNJFyqcRN63EctUAqwA5M/edit?usp=sharing)
|