質問編集履歴
5
誤字脱字
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,9 +1,6 @@
|
|
|
1
1
|
### 実現したいこと
|
|
2
|
-
|
|
3
2
|
Yahoo!ニュースの検索窓で検索した結果を最新50件以上取得したい。
|
|
4
|
-
|
|
5
3
|
### 前提
|
|
6
|
-
|
|
7
4
|
GASを使ってYahoo!ニュースの検索窓で検索した結果と同じものをスクレイピングしています。例えば「トヨタ」で検索すると次のような結果になります。
|
|
8
5
|
https://news.yahoo.co.jp/search?p=%E3%83%88%E3%83%A8%E3%82%BF&fr=top_ga1_sa&ei=UTF-8&ts=1703&aq=-1&ai=b62350cb-b166-48c6-b08e-66244f332039&x=nl
|
|
9
6
|
### 発生している問題・エラーメッセージ
|
|
@@ -13,7 +10,8 @@
|
|
|
13
10
|
function getYahooNews(url) { // HTMLの生コードを取得
|
|
14
11
|
let source = UrlFetchApp.fetch(url).getContentText('UTF-8');
|
|
15
12
|
return source;
|
|
13
|
+
}
|
|
16
|
-
|
|
14
|
+
```
|
|
17
15
|
### 試したこと
|
|
18
16
|
他のサイトについてはリンクの末尾に「&start=51」とか「&p=11」とかつけると
|
|
19
17
|
取得できますが、Yahoo!ニュースについてはわかりませんでした。
|
4
誤字脱字
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -15,7 +15,7 @@
|
|
|
15
15
|
return source;
|
|
16
16
|
}```
|
|
17
17
|
### 試したこと
|
|
18
|
-
他のサイトについてはリンク
|
|
18
|
+
他のサイトについてはリンクの末尾に「&start=51」とか「&p=11」とかつけると
|
|
19
19
|
取得できますが、Yahoo!ニュースについてはわかりませんでした。
|
|
20
20
|
|
|
21
21
|
GASやJavaScriptに限らない問題だと思いますのでPython等のスクレイピングの
|
3
誤字脱字
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -20,5 +20,6 @@
|
|
|
20
20
|
|
|
21
21
|
GASやJavaScriptに限らない問題だと思いますのでPython等のスクレイピングの
|
|
22
22
|
知識をお持ちの方とかでも知見があればなんでも教えていただきたいです。
|
|
23
|
+
###
|
|
23
24
|
|
|
24
25
|
|
2
改行
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -15,7 +15,10 @@
|
|
|
15
15
|
return source;
|
|
16
16
|
}```
|
|
17
17
|
### 試したこと
|
|
18
|
-
他のサイトについてはリンクま末尾に「&start=51」とか「&p=11」とかつけると
|
|
18
|
+
他のサイトについてはリンクま末尾に「&start=51」とか「&p=11」とかつけると
|
|
19
|
+
取得できますが、Yahoo!ニュースについてはわかりませんでした。
|
|
20
|
+
|
|
19
|
-
GASやJavaScriptに限らない問題だと思いますのでPython等のスクレイピングの
|
|
21
|
+
GASやJavaScriptに限らない問題だと思いますのでPython等のスクレイピングの
|
|
22
|
+
知識をお持ちの方とかでも知見があればなんでも教えていただきたいです。
|
|
20
23
|
|
|
21
24
|
|
1
誤字脱字
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
GAS(Google Apps Script)またはJavaScriptでYahoo!ニュースを50件以上スクレイピングする方法をご存知の
|
|
1
|
+
GAS(Google Apps Script)またはJavaScriptでYahoo!ニュースを50件以上スクレイピングする方法をご存知の方いらっしゃいますか？
|
test
CHANGED
|
@@ -6,23 +6,16 @@
|
|
|
6
6
|
|
|
7
7
|
GASを使ってYahoo!ニュースの検索窓で検索した結果と同じものをスクレイピングしています。例えば「トヨタ」で検索すると次のような結果になります。
|
|
8
8
|
https://news.yahoo.co.jp/search?p=%E3%83%88%E3%83%A8%E3%82%BF&fr=top_ga1_sa&ei=UTF-8&ts=1703&aq=-1&ai=b62350cb-b166-48c6-b08e-66244f332039&x=nl
|
|
9
|
-
|
|
9
|
+
### 発生している問題・エラーメッセージ
|
|
10
10
|
欲しいのは前日の記事と当日の現在までの記事なのですが、トヨタは記事が多いため50件以上取得するためには「もっと見る」をクリックしなければなりません。この「もっと見る」をクリックした結果と同じHTMLコードを取得する方法が知りたいです。
|
|
11
|
-
|
|
12
|
-
### 発生している問題・エラーメッセージ
|
|
13
|
-
|
|
14
11
|
### 該当のソースコード
|
|
15
|
-
|
|
16
12
|
```Google Apps Script
|
|
17
13
|
function getYahooNews(url) { // HTMLの生コードを取得
|
|
18
14
|
let source = UrlFetchApp.fetch(url).getContentText('UTF-8');
|
|
19
15
|
return source;
|
|
20
16
|
}```
|
|
17
|
+
### 試したこと
|
|
18
|
+
他のサイトについてはリンクま末尾に「&start=51」とか「&p=11」とかつけると取得できますが、Yahoo!ニュースについてはわかりませんでした。
|
|
19
|
+
GASやJavaScriptに限らない問題だと思いますのでPython等のスクレイピングの知識をお持ちの方とかでも知見があればなんでも教えていただきたいです。
|
|
21
20
|
|
|
22
|
-
### 試したこと
|
|
23
21
|
|
|
24
|
-
他のサイトについては「start=1」とか「start=51」とか入れると取得できますが、Yahoo!ニュースについてはわかりませんでした。
|
|
25
|
-
|
|
26
|
-
### 補足情報（FW/ツールのバージョンなど）
|
|
27
|
-
|
|
28
|
-
GoogleスプレッドシートからGASを使ってスクレイピングしています。
|