質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.51%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

jQuery

jQueryは、JavaScriptライブラリのひとつです。 簡単な記述で、JavaScriptコードを実行できるように設計されています。 2006年1月に、ジョン・レシグが発表しました。 jQueryは独特の記述法を用いており、機能のほとんどは「$関数」や「jQueryオブジェクト」のメソッドとして定義されています。

Ajax

Ajaxとは、Webブラウザ内で搭載されているJavaScriptのHTTP通信機能を使って非同期通信を利用し、インターフェイスの構築などを行う技術の総称です。XMLドキュメントを指定したURLから読み込み、画面描画やユーザの操作などと並行してサーバと非同期に通信するWebアプリケーションを実現することができます。

Q&A

解決済

2回答

3153閲覧

外部サイトの検索結果からスクレイピングしたい

psephopaiktes

総合スコア10

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

jQuery

jQueryは、JavaScriptライブラリのひとつです。 簡単な記述で、JavaScriptコードを実行できるように設計されています。 2006年1月に、ジョン・レシグが発表しました。 jQueryは独特の記述法を用いており、機能のほとんどは「$関数」や「jQueryオブジェクト」のメソッドとして定義されています。

Ajax

Ajaxとは、Webブラウザ内で搭載されているJavaScriptのHTTP通信機能を使って非同期通信を利用し、インターフェイスの構築などを行う技術の総称です。XMLドキュメントを指定したURLから読み込み、画面描画やユーザの操作などと並行してサーバと非同期に通信するWebアプリケーションを実現することができます。

0グッド

0クリップ

投稿2017/06/02 12:30

###前提・実現したいこと
外部サイトの検索結果一覧から、一番最初の要素について取得したいです。
以前jqueryのajax関数を使用して外部ページのDOMから情報を取得したことがあったので、
同じようなやりかたでやろうと思ったのですが、うまく取得できません。

###該当のソースコード
例えば、YouTubeで「cat」と動画検索した結果ページから、
一番上の動画へのURLを取りたい場合、以下のように実装しようと考えました。

jquery

1$.ajax({ 2 url: 'https://www.youtube.com/results?search_query=cat', 3 type: 'GET', 4 dataType: 'html', 5}) 6.done(function(data) { 7 var firstMovieURL = 'https://www.youtube.com/' + $(data).find('ytd-video-renderer:first-child a:first-child').attr('href'); 8 alert(firstMovieURL); 9}) 10.fail(function(data) { 11 alert("読み込めませんでした"); 12});

.find('ytd-video-renderer:first-child a:first-child')の部分は、
結果一覧の中から一番最初の動画のaタグを取得するセレクタです。

しかしこれでは.failの方が実行されてしまいます。
そもそも.done(function(data) {})自体が実行されていません。

何が問題なのでしょうか...。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

サーバー側が「Access-Control-Allow-Origin」のヘッダを吐いてくれないと
ダメっぽいですね。クライアント側でやるならajaxはあきらめて
なんらかのクローラーを利用して下さい

投稿2017/06/02 12:54

yambejp

総合スコア114503

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

ベストアンサー

ドメインをまたいだhtmlの取得には制限があります。yambejpさんの書かれている通り、対象サーバが Access-Control-Allow-Origin ヘッダを返す必要があります。

【HTTP アクセス制御 (CORS) - HTTP | MDN】
https://developer.mozilla.org/ja/docs/Web/HTTP/HTTP_access_control


YouTube であれば API が有ります。

【YouTube Data API の概要  |  YouTube Data API (v3)  |  Google Developers】
https://developers.google.com/youtube/v3/getting-started?hl=ja

【Youtube API V3でユーザーがアップロードした動画リストを取得する方法 [無料ホームページ作成クラウドサービス まめわざ]】
http://mamewaza.com/support/blog/get-youtube-videoid-list.html

【YouTube API APIキーの取得方法 - Qiita】
http://qiita.com/chieeeeno/items/ba0d2fb0a45db786746f

【YouTube Data API v3をつかって動画を検索する(ログインなし) - みかづきブログ その3】
http://kimizuka.hatenablog.com/entry/2015/06/01/000000_1

【YouTube APIと JavaScriptクライアント ライブラリ の使い方 – weblog】
http://weblog.4141.biz/?p=381

投稿2017/06/03 10:17

kei344

総合スコア69357

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

psephopaiktes

2017/06/05 09:43

ああ、APIを利用する手もあるのですね。ありがとうございます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.51%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問