質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

Q&A

解決済

1回答

371閲覧

Ruby selenium 検索結果の取得

Komama

総合スコア28

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

0グッド

0クリップ

投稿2019/04/11 07:02

■分からないこと
seleniumの練習でgoogle検索をして、検索結果のタイトルテキストを取得してCSVを作成するというのをやっています。
検索結果の1ページだけなら出来たのですが、検索結果数に関わらず2ページ目以降も取得する方法がわかりません。
find_elementsで取得結果のページ数だけクリックしようと思ったのですが、class名が他でも使われており指定方法も分からなかったです。
ご教授いただけますようお願い致します。

■取得したい箇所
イメージ説明

Ruby

1require 'selenium-webdriver' 2require 'byebug' 3require 'csv' 4 5def exec(driver) 6 elements = driver.find_elements(:class, 'LC20lb') 7 @value = [] 8 if elements.size > 0 9 elements.each do |e| 10 @value << e.text 11 end 12 end 13 headers = ["title"] 14 CSV.open("google_test.csv", "a", write_headers: true) do |csv| 15 csv << headers 16 @value.each do |idx| 17 csv << [idx] 18 end 19 end 20end 21 22wait = Selenium::WebDriver::Wait.new(timeout: 10) 23driver = Selenium::WebDriver.for :chrome 24driver.navigate.to "http://google.com" 25wait.until {driver.find_elements(:xpath, '//*[@id="tsf"]/div[2]/div/div[1]/div/div[1]/input')} 26driver.find_element(:xpath, '//*[@id="tsf"]/div[2]/div/div[1]/div/div[1]/input').send_keys("サンプル");sleep 1 27driver.find_element(:name, 'btnK').click;sleep 2 28 29driver.find_element(:xpath, '//*[@id="nav"]/tbody/tr/td[3]/a').location_once_scrolled_into_view 30exec(driver) 31 32driver.quit 33

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

URLで検索結果の何番目を表示するか制御できそうなので。
クローラーの終了条件は考慮していない。

Ruby

1require 'open-uri' 2require 'nokogiri' 3require 'cgi' 4 5USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/' 6 + '537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36' 7url_base = 'https://www.google.com/search?q=' 8referer = 'https://www.google.com/' 9 10search_word = CGI.escape('青空文庫') 11 122.times do |i| 13 search_url = (url_base + search_word) 14 15 unless i.zero? 16 search_url += "&ei=123&start=#{i * 10}" 17 end 18 19 doc = Nokogiri::HTML.parse(open(search_url, {'User-Agent' => USER_AGENT, 'Referer' => referer})) 20 21 doc.xpath('//h3[@class="r"]').each do |h3| 22 puts h3.text 23 end 24 25 sleep(rand(5..10)) 26 27 referer = search_url 28end 29

投稿2019/04/11 12:44

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Komama

2019/04/16 03:19

コメントが遅くなり申し訳ありません! ありがとうございます!初めて知る方法なので勉強して実行してみます!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問