回答編集履歴

3

補足

2018/08/10 22:41

投稿

umyu
umyu

スコア5846

test CHANGED
@@ -12,7 +12,9 @@
12
12
 
13
13
  ```
14
14
 
15
+ ※取得できない原因
16
+
15
- ※取得できない原因はprint(html)をすると分かるのです、JavaScriptになっています。
17
+ print(html)をすると分かるのです、コンテンツがJavaScriptになっています。
16
18
 
17
19
  BeautifulSoupはJavaScriptを実行せずに、静的なHTMLタグを解析するため要素の取得ができません。
18
20
 

2

追記

2018/08/10 22:41

投稿

umyu
umyu

スコア5846

test CHANGED
@@ -10,9 +10,19 @@
10
10
 
11
11
  2,何も出力されない件について(※)
12
12
 
13
- ## 大前提
13
+ ```
14
14
 
15
+ ※取得できない原因はprint(html)をすると分かるのです、JavaScriptになっています。
16
+
17
+ BeautifulSoupはJavaScriptを実行せずに、静的なHTMLタグを解析するため要素の取得ができません。
18
+
19
+ ```
20
+
21
+
22
+
15
- googleは[機械的なAccessを規約により禁止](https://support.google.com/webmasters/answer/66357)しています、スクレイピングするならば他のサイトが良いでしょう。
23
+ あとgoogleは[機械的なAccessを規約により禁止](https://support.google.com/webmasters/answer/66357)しています、スクレイピングするならば他のサイトが良いでしょう。
24
+
25
+ URLをyahooに変更するとスクレイピングできるのでは。
16
26
 
17
27
 
18
28
 
@@ -21,9 +31,3 @@
21
31
  Scraper('https://www.yahoo.co.jp').scrape()
22
32
 
23
33
  ```
24
-
25
-
26
-
27
- ※取得できない原因はprint(html)をすると分かるのです、JavaScriptになっています。
28
-
29
- BeautifulSoupは静的なHTMLタグを解析するため、要素の取得ができないのです。

1

追記

2018/08/10 22:40

投稿

umyu
umyu

スコア5846

test CHANGED
@@ -14,6 +14,8 @@
14
14
 
15
15
  googleは[機械的なAccessを規約により禁止](https://support.google.com/webmasters/answer/66357)しています、スクレイピングするならば他のサイトが良いでしょう。
16
16
 
17
+
18
+
17
19
  ```Python
18
20
 
19
21
  Scraper('https://www.yahoo.co.jp').scrape()
@@ -25,9 +27,3 @@
25
27
  ※取得できない原因はprint(html)をすると分かるのです、JavaScriptになっています。
26
28
 
27
29
  BeautifulSoupは静的なHTMLタグを解析するため、要素の取得ができないのです。
28
-
29
-
30
-
31
- ■参考情報として
32
-
33
- [以前スクレイピングの可否について纏めましたシートがあるので](https://docs.google.com/spreadsheets/d/1qIeVB2UKXIVhOukYfaB9h6cNJFyqcRN63EctUAqwA5M/edit?usp=sharing)