質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

Ruby on Rails 4

Ruby on Rails4はRubyによって書かれたオープンソースのウェブフレームワークです。 Ruby on Railsは「設定より規約」の原則に従っており、効率的に作業を行うために再開発を行う必要をなくしてくれます。

Q&A

1回答

1283閲覧

【RubyOnRails・Ruby】Web上の監視システムを作成中ですが、上手くいきません

shota101207

総合スコア8

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

Ruby on Rails 4

Ruby on Rails4はRubyによって書かれたオープンソースのウェブフレームワークです。 Ruby on Railsは「設定より規約」の原則に従っており、効率的に作業を行うために再開発を行う必要をなくしてくれます。

0グッド

0クリップ

投稿2017/02/17 10:33

編集2017/02/17 11:23

###前提・実現したいこと
RubyOnRailsを用いてWeb上の監視システムを開発しています。

具体的に、
1-Google検索エンジンにて「A(例:〇〇株式会社)」というキーワードで検索

2-検索結果のタイトル・ディスクリプション上で「B(例:詐欺)」などと記載されているものを抽出(URL・タイトル・ディスクリプション)してリスト化する
※Bのキーワードは予めデータベースに設定するつもりです。
※検索結果10件ではなく、全件の確認

###発生している問題

下記コードにて、検索結果件数・タイトル・ディスクリプションの取得は出来ました。
ですが、検索結果10件分の「タイトル」「ディスクリプション」しか取得出来ていません。

検索結果全件数の「タイトル」「ディスクリプション」を取得する事は出来ないのでしょうか?

require 'nokogiri' require 'open-uri' require 'uri' require 'cgi' require 'sanitize' escaped_url = URI.escape("https://www.google.com/search?q=クローラー&oe=utf-8&hl=ja") doc = Nokogiri::HTML(open(escaped_url)) # 検索結果の数 puts doc.xpath("//*[@id='resultStats']/text()") doc.xpath('//h3/a').each do |link| puts CGI.parse(link[:href])["adurl"] puts link.content end # タイトルと解説文 doc.at('#search').css('.g').each do |result| puts result.at('h3 > a').text puts Sanitize.clean result.at('.st') end

###補足情報(言語/FW/ツール等のバージョンなど)
言語はRubyとなります。
当方Ruby及びRails初心者になりますが、ご教示の程お願い致します。
※開発環境としてcloud9を使用しています。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

CodeLab

2017/02/17 10:36

具体的にどの部分がうまくいかないのか明確にしてください。例)検索結果の取得ができない。全件取得ができない。抽出ができないetc
shota101207

2017/02/17 10:43

申し訳ありません。。。具体的に全てうまくいきませんので、どのようにしたら良いのかご教示頂きたいのです。
guest

回答1

0

私はプログラミング初心者かつRailsについては何も知りません。
Googleの検索結果を1度に全て表示させる方法があるかどうかは
知りませんが、urlを次のページのものに変更しながら処理を
繰り返せば全ての検索結果を調べることができると思います。
urlの後ろに「&start=0」をくっつけて数字を増やしてみたら
どうでしょうか。(数字は10ずつ増えるみたいです。)
Googleに短期間のうちに大量にアクセスすると
一定時間ブロックされるという話があります。

投稿2017/02/17 16:40

編集2017/02/17 16:56
退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問