###前提・実現したいこと
RubyOnRailsを用いてWeb上の監視システムを開発しています。
具体的に、
1-Google検索エンジンにて「A(例:〇〇株式会社)」というキーワードで検索
2-検索結果のタイトル・ディスクリプション上で「B(例:詐欺)」などと記載されているものを抽出(URL・タイトル・ディスクリプション)してリスト化する
※Bのキーワードは予めデータベースに設定するつもりです。
※検索結果10件ではなく、全件の確認
###発生している問題
下記コードにて、検索結果件数・タイトル・ディスクリプションの取得は出来ました。
ですが、検索結果10件分の「タイトル」「ディスクリプション」しか取得出来ていません。
検索結果全件数の「タイトル」「ディスクリプション」を取得する事は出来ないのでしょうか?
require 'nokogiri' require 'open-uri' require 'uri' require 'cgi' require 'sanitize' escaped_url = URI.escape("https://www.google.com/search?q=クローラー&oe=utf-8&hl=ja") doc = Nokogiri::HTML(open(escaped_url)) # 検索結果の数 puts doc.xpath("//*[@id='resultStats']/text()") doc.xpath('//h3/a').each do |link| puts CGI.parse(link[:href])["adurl"] puts link.content end # タイトルと解説文 doc.at('#search').css('.g').each do |result| puts result.at('h3 > a').text puts Sanitize.clean result.at('.st') end
###補足情報(言語/FW/ツール等のバージョンなど)
言語はRubyとなります。
当方Ruby及びRails初心者になりますが、ご教示の程お願い致します。
※開発環境としてcloud9を使用しています。