webページ内の特定リンクの抽出(スクレイピング）について

サイトから特定の動画ドメインのURLリンクを取得したく思っております。
（リンク先には、必ず一つだけ動画URLがあります。）

動画URLが仮にA1、A2、A3....とそれぞれのセルにあった場合に、

例) A1サイト内部↓

html
1<html>
2<head>
3<body>
4....
5<a href="https://www.youtube.com/watch?v=aFhvWOgg-YU" target="_blank" rel="aaaaaaaaaaa">
6....
7</body>
8</head>
9</html>

にyoutubeのリンクがあったとします。その場合に動画リンクを抽出し、

https://www.youtube.com/watch?v=aFhvWOgg-YU

B2のセルに↑のリンクを書き込むようなスクリプトを組むことは可能でしょうか。

youtubeに限らずもしそのサイトに（動画サイトviemo.com/、pandora.tv/）
のどれかに引っかかるURLがあれば自動的に抜き出してセルにリンクを表示します。

html
1function scraping() {
2  var ss = SpreadsheetApp.getActiveSpreadsheet();
3  var sheet = ss.getActiveSheet();
4  var lastRow = sheet.getLastRow();
5  
6  // A列にURLある
7  var urls = sheet.getRange(1, 1, lastRow).getValues();
8  
9  for(var i = 0, l = urls.length; i < l; i++) {
10    var url = urls[i][0];
11    var fetch = UrlFetchApp.fetch(url);
12  }
13}

上記コードに組み込めばできなくはないでしょうか。
プログラムの実装方法を教えて頂きたく思っております。。よろしくお願いいたします。

bochan2

2019/01/31 14:44

質問頂きありがとうございます。「教えて頂きたく思っております。」部分を「プログラムの実装方法を教えて頂きたく思っております。」と書き換えた方が質問の主旨が伝わりやすいと思います。

m.ts10806

2019/01/31 20:00

対象のサイトはスクレイピングのような行為を認可されているのでしょうか。規約で禁止をうたっている大手サイトもあるなかで、許可なくスクレイピング行為をすることは後々大問題に発展しうるのでAPIなど提供がないものであれば対応は慎重にすべきと思います

papinianus

2019/02/01 00:18

まず質問の主旨ですが、実装方法ではなく、コードそのものをくださいだと思うので、その書き方でもまだ伝わってないと思います。で、この質問、プログラムの難度は低いのですが、対象サイトや対象リンクが明確でないためサポート地獄が発生するので、仮に仕事としてやるとしたらいくらもらっても割に合わないつらさがあります。どこまで対象を具体的に絞れますか？具体的に言うと対象サイトを明示できますか？あと、B2セルに複数のリンク入れるの無理なんで仕様見直してください

行動規範の内容に同意します

回答1件

ライブラリを前提にしてます(XML Serviceではパースエラー率が高いので)
B1に=q172014(A1)と書きます。

すると、なんということでしょう、B1からC1,D1とURLが展開されるではありませんか

※ 適切なサイト例が思いつかなかったので、はてなブックマークで実装した例です。これで人気エントリのアドレスが取れました。実際youtubeはなかったんで、noteのやつをとる、とかで試しましたが。

javascript
1function q172014(cellValue) {
2  //Parserのライブラリキーは、"M1lugvAXKKtUxn_vdAG9JZleS6DrsjUUV"
3  const html = UrlFetchApp.fetch(cellValue).getContentText();
4  const body = Parser.data(html).from('<div class="wrapper"').to('<div class="entrylist-ad-pc-banner">').build();
5  const links = Parser.data(body).from('<a href="').to('"').iterate();
6  const filtered = links.filter(function(e) { return /^http.*youtube.*/.test(e);});
7  return [filtered];
8}

投稿2019/02/01 04:00

papinianus

総合スコア12705

koocas

2019/02/01 13:31

ご回答頂きありがとうございます。大変参考になります。先ほど、ライブラリをインポートし、実際に行ってみたのですがDNSエラーが出てしまいました。実行のサイトURLを教えてもらってもよろしいでしょうか。

papinianus

2019/02/02 00:46

実行サイトってなんですか？

koocas

2019/02/02 03:29

B1からC1,D1とURLが展開されないです。ライブラリ設定は完了しています。

papinianus

2019/02/04 08:33 編集

A1に書いたのは「http://b.hatena.ne.jp/hotentry/entertainment」です。しかし、正規表現もかえているので、B1からは展開されないでしょう(この中にyoutubeのリンクが含まれると思わないので)。「実行のサイトURLを教えてもらってもよろしいでしょうか」という質疑は、質問者様が、適当なページにあわせて途中のパラメータを書き換える技術を持っておられないことを示しています。私は最初から「具体的に言うと対象サイトを明示できますか？」と聞いています。

行動規範の内容に同意します