回答編集履歴
5
参考の順番を入れ替え
test
CHANGED
|
@@ -15,6 +15,12 @@
|
|
|
15
15
|
## 2. 調査
|
|
16
16
|
|
|
17
17
|
例えば今回であれば「スクレイピング JavaScript 取れない」等で検索してみると下記の参考に挙げたような参考になるWebサイトがたくさん見つかります。(実際に質問者さんもいろいろと検索して読んでみてください！)
|
|
18
|
+
|
|
19
|
+
|
|
20
|
+
|
|
21
|
+
※参考1：[[Python] 気象庁からアメダスの最新の気温を取得して利用する](https://mackro.blog.jp/archives/8918213.html)
|
|
22
|
+
|
|
23
|
+
※参考2：[requestsで取得できないWebページをスクレイピングする方法](https://gammasoft.jp/blog/how-to-download-web-page-created-javascript/)
|
|
18
24
|
|
|
19
25
|
|
|
20
26
|
|
|
@@ -64,10 +70,4 @@
|
|
|
64
70
|
|
|
65
71
|
|
|
66
72
|
|
|
67
|
-
※参考1：[[Python] 気象庁からアメダスの最新の気温を取得して利用する](https://mackro.blog.jp/archives/8918213.html)
|
|
68
|
-
|
|
69
|
-
※参考2：[requestsで取得できないWebページをスクレイピングする方法](https://gammasoft.jp/blog/how-to-download-web-page-created-javascript/)
|
|
70
|
-
|
|
71
|
-
|
|
72
|
-
|
|
73
73
|
一旦、これを回答とします。
|
4
章を追記
test
CHANGED
|
@@ -1,8 +1,8 @@
|
|
|
1
|
-
まず仮説を立て
|
|
1
|
+
まず仮説を立てる、調べる、実際に試してみる、という3つのサイクルを意識してみましょう。
|
|
2
2
|
|
|
3
3
|
|
|
4
4
|
|
|
5
|
-
## 仮説
|
|
5
|
+
## 1. 仮説
|
|
6
6
|
|
|
7
7
|
おそらくですが取得しようとしているページでHTMLの生成の一部にJavaScriptが使われているからBeatutifulsoupやrequestsで取ってきた(ダウンロードしてきた)HTMLファイルと質問者さんのブラウザで表示されているHTMLが異なっているのだと思います。
|
|
8
8
|
|
|
@@ -12,13 +12,13 @@
|
|
|
12
12
|
|
|
13
13
|
|
|
14
14
|
|
|
15
|
-
## 調査
|
|
15
|
+
## 2. 調査
|
|
16
16
|
|
|
17
17
|
例えば今回であれば「スクレイピング JavaScript 取れない」等で検索してみると下記の参考に挙げたような参考になるWebサイトがたくさん見つかります。(実際に質問者さんもいろいろと検索して読んでみてください！)
|
|
18
18
|
|
|
19
19
|
|
|
20
20
|
|
|
21
|
-
## 実験
|
|
21
|
+
## 3. 実験
|
|
22
22
|
|
|
23
23
|
一旦、下記のようなスクリプトで値は取得できると思いますので試してみてください。
|
|
24
24
|
|
3
誤記修正
test
CHANGED
|
@@ -1,14 +1,24 @@
|
|
|
1
|
+
まず仮説を立てて調べて、実際に試してみる、ということを意識してみましょう。
|
|
2
|
+
|
|
3
|
+
|
|
4
|
+
|
|
5
|
+
## 仮説
|
|
6
|
+
|
|
1
7
|
おそらくですが取得しようとしているページでHTMLの生成の一部にJavaScriptが使われているからBeatutifulsoupやrequestsで取ってきた(ダウンロードしてきた)HTMLファイルと質問者さんのブラウザで表示されているHTMLが異なっているのだと思います。
|
|
2
8
|
|
|
3
9
|
|
|
4
10
|
|
|
5
|
-
上記のような仮説を立てた
|
|
11
|
+
上記のような仮説を立てたら次はGoogleで検索してたくさん記事を流し読みしましょう。
|
|
6
12
|
|
|
7
13
|
|
|
14
|
+
|
|
15
|
+
## 調査
|
|
8
16
|
|
|
9
17
|
例えば今回であれば「スクレイピング JavaScript 取れない」等で検索してみると下記の参考に挙げたような参考になるWebサイトがたくさん見つかります。(実際に質問者さんもいろいろと検索して読んでみてください！)
|
|
10
18
|
|
|
11
19
|
|
|
20
|
+
|
|
21
|
+
## 実験
|
|
12
22
|
|
|
13
23
|
一旦、下記のようなスクリプトで値は取得できると思いますので試してみてください。
|
|
14
24
|
|
2
注記追加
test
CHANGED
|
@@ -13,6 +13,8 @@
|
|
|
13
13
|
一旦、下記のようなスクリプトで値は取得できると思いますので試してみてください。
|
|
14
14
|
|
|
15
15
|
その上でrequests_htmlについて更に自分で調べて勉強してみてください！
|
|
16
|
+
|
|
17
|
+
※例えばなぜ下記のスクリプトでsleepを入れいているのか、どういった場合にrequests+Beautifulsoupでなくrequests-htmlを使うほうが良いのか、についても考えてみると勉強になって良いかと！
|
|
16
18
|
|
|
17
19
|
|
|
18
20
|
|
1
誤字修正
test
CHANGED
|
@@ -2,7 +2,11 @@
|
|
|
2
2
|
|
|
3
3
|
|
|
4
4
|
|
|
5
|
+
上記のような仮説を立てたまずGoogleで検索してたくさん記事を流し読みしましょう。
|
|
6
|
+
|
|
7
|
+
|
|
8
|
+
|
|
5
|
-
|
|
9
|
+
例えば今回であれば「スクレイピング JavaScript 取れない」等で検索してみると下記の参考に挙げたような参考になるWebサイトがたくさん見つかります。(実際に質問者さんもいろいろと検索して読んでみてください！)
|
|
6
10
|
|
|
7
11
|
|
|
8
12
|
|