Rails,スクレイピング初心者のものです。
###前提・実現したいこと
Youtubeをスクレイピングした動画まとめサイトを作っています。
再生時間の取得をしたいのですがうまく動きません。
###発生している問題・エラーメッセージ
エラーメッセージは発生していません。ただ、再生時間だけ結果が返ってきません。
一応ソースコード内の、dog.duration=...の部分で取得しているつもりです。
###ソースコード
Ruby
1# encoding: utf-8 2 3# URLにアクセスするためのライブラリの読み込み 4require 'open-uri' 5# Nokogiriライブラリの読み込み 6require 'nokogiri' 7require 'uri' 8 9 # 前半部では、検索ワードに関連するリンクの一覧を取得する。 10 11 urls = [] 12 # 配列の宣言 13 search_q="柴犬" 14 search_term = URI.encode(search_q) 15 # サーチタームを定義。URIオブジェクトのencodeメソッドでutf-8に対応している? 16 url="https://www.youtube.com/results?search_query=#{search_term}" 17 # urlは普通に、YouTubeの検索した時のurl。 18 doc=Nokogiri::HTML(open(url)) 19 # ノコギリで、urlを開いてdocという変数へ入れる。 20 elements=doc.xpath("//h3[@class='yt-lockup-title ']/a") 21 # 要素の切り出しをxpathを使って行う。 h3タグでyt-lookup-title(注意:末尾に半角スペース1つ入ります!)というクラスが付与された要素下のa要素を取得。 22 elements.each do |a| 23 # その中のリンク要素それぞれを取り出す。 24 code = a.attributes['href'].value 25 # そして、その要素が持つhref属性、すなわちアドレスを取得する。 26 urls << "https://www.youtube.com" + code if code.include?('watch') 27 # 配列宣言しておいたurlsにそれぞれのアドレスをお尻に付加した、youtubeのアドレスをぶっこんでいく。 28 end 29 30 # 後半部では、各リンクの中の要素を取得していく。 31 32 urls.each do |url| 33 # それぞれのurlについて情報を吐き出させる。 34 doc =Nokogiri::HTML(open(url),nil,"UTF-8") 35 dog =Dog.new 36 dog.genre=search_q 37 dog.name=doc.xpath("//*[@id='watch7-user-header']/div/a").text 38 dog.title = doc.xpath("//h1['watch-headline-title']/span").text.gsub(/¥n/,'') 39 imageid=url.match(/\?([^&]+)/).to_s.sub("?v=","") 40 # mvid="//i.ytimg.com/vi_webp/#{imageid}/mqdefault.webp" 41 dog.mvid="http://i.ytimg.com/vi_webp/#{imageid}/mqdefault.webp" 42 dog.duration=doc.xpath("//*[@id='movie_player']/div[12]/div[1]/div").text 43 dog.description = doc.xpath("//p[@id='eow-description']").text 44 dog.watch = doc.xpath("//*[@id='watch7-views-info']/div[1]").text 45 dog.fav = doc.xpath("//*[@id='watch8-sentiment-actions']/span/span[1]/button/span").text 46 dog.url = url 47 dog.save 48 end 49
###補足情報(言語/FW/ツール等のバージョンなど)
Rails 4.2
Ruby 2.2.2
MySQL
ご指導宜しくお願いします。
回答2件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2015/12/25 07:32
2015/12/25 07:47
2015/12/26 11:17