質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.48%

  • Ruby

    9654questions

    Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

  • Ruby on Rails

    9057questions

    Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

  • スクレイピング

    492questions

    スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

  • YouTube

    111questions

    YouTubeとはユーザーがビデオをアップロード・共有・閲覧できるビデオ共有ウェブサイトです。

Youtubeのスクレイピング、xpathはどこを参照すれば良いでしょうか。

解決済

回答 2

投稿

  • 評価
  • クリップ 2
  • VIEW 942

isumidaichi

score 1

 前提・実現したいこと

Rails、nokogiriを利用しyoutubeからのスクレイピングをしようと試みています。
本サイトで以前ご質問されていた方のソースコードを拝借し実装中ですが、動画の視聴回数が全て0で返ってきます。そこで、自分でchromeのディベロッパーツールを用いxpathを取得し、指定しているのですが、0すら返ってこなくなりました。他の要素もディベロッパーツールで確認できるxpathと拝借したソースコードのxpathが異なり、ディベロッパーツールで確認できるxpathを指定するとデータが取得できません。
Youtubeのxpathはどこを参照すれば良いのでしょうか。

ぜひご教授ください。

 該当のソースコード

class Video < ApplicationRecord

  # encoding: utf-8

  # URLにアクセスするためのライブラリの読み込み
  require 'open-uri'
  # Nokogiriライブラリの読み込み
  require 'nokogiri'
  require 'uri'


def self.get
    # 前半部では、検索ワードに関連するリンクの一覧を取得する。

    urls = []
    # 配列の宣言
    search_q="アウディ"
    search_term = URI.encode(search_q)
    # サーチタームを定義。URIオブジェクトのencodeメソッドでutf-8に対応している?
    url="https://www.youtube.com/results?search_query=#{search_term}"
    # urlは普通に、YouTubeの検索した時のurl。

    doc=Nokogiri::HTML(open(url))
    # ノコギリで、urlを開いてdocという変数へ入れる。
    elements=doc.xpath("//h3[@class='yt-lockup-title ']/a")
    # 要素の切り出しをxpathを使って行う。 h3タグでyt-lookup-title(注意:末尾に半角スペース1つ入ります!)というクラスが付与された要素下のa要素を取得。
    elements.each do |a|
      # その中のリンク要素それぞれを取り出す。
      code = a.attributes['href'].value
      # そして、その要素が持つhref属性、すなわちアドレスを取得する。
      urls << "https://www.youtube.com" + code if code.include?('watch')
    # 配列宣言しておいたurlsにそれぞれのアドレスをお尻に付加した、youtubeのアドレスをぶっこんでいく。
    end

    # 後半部では、各リンクの中の要素を取得していく。
    urls.each do |url|
    # それぞれのurlについて情報を吐き出させる。
      doc = Nokogiri::HTML(open(url),nil,"UTF-8")
      video = Video.new

      # 動画URLを取得
      video.url = url
      # 動画のタイトルを取得
      video.title = doc.xpath("//h1['watch-headline-title']/span").text.gsub(/\n    /,'').gsub(/\n  /,'')
      # 動画の説明文を取得
      video.description = doc.xpath("//p[@id='eow-description']").text


      # 動画の視聴回数を取得
      video.views = doc.xpath('//*[@id="count"]/yt-view-count-renderer/span[2]').text


      # 動画のチャンネルを取得
      video.chnnnel = doc.xpath("//*[@id='watch7-user-header']/div/a").text

      video.save    
   end

end



end

 試したこと

参照ソースコードのxpathから、ディベロッパーツールでのxpathに変更しました。

#元々のxpath
video.views = doc.xpath("//*[@id='watch7-views-info']/div[1]").text

#変更後
video.views = doc.xpath('//*[@id="count"]/yt-view-count-renderer/span[2]').text
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

+5

APIがあるのでそちらを使うのが良いと思います。

【YouTube Data API の概要  |  YouTube Data API (v3)  |  Google Developers】
https://developers.google.com/youtube/v3/getting-started?hl=ja

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

check解決した方法

0

ありがとうございます!
API使ってみますね。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.48%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る

  • Ruby

    9654questions

    Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

  • Ruby on Rails

    9057questions

    Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

  • スクレイピング

    492questions

    スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

  • YouTube

    111questions

    YouTubeとはユーザーがビデオをアップロード・共有・閲覧できるビデオ共有ウェブサイトです。