【Ruby + selenium】個別ページ毎に文字数を取得する方法

前提・実現したいこと

Google検索後に表示された上位5記事の文字数をそれぞれ取得したい。

任意のキーワードを入力後にseleniumが起動
↓
検索結果の先頭ページ(1番目)に進む
↓
記事内の文字数を取得し、配列に入れる
↓
検索結果に戻る
↓
2番目のページに進む
↓
.
.
.

...という動作を5記事分までさせたいのですが、ネットで調べてもピンとくるものが見つかりませんでした。

以下のソースコードに関しましては、ただ単に「times」メソッドによって同じところをクルクル回ってるだけなので、配列に格納される値が同じものになることは理解しておりますが、理屈として"このようにクロールさせたい"というイメージです。

どうかご教授いただけますと幸いです。
よろしくお願いいたします。

該当のソースコード

ruby
1require "selenium-webdriver"
2require 'pry'
3
4
5keyword = gets.chomp
6d = Selenium::WebDriver.for :chrome
7
8d.navigate.to "https://www.google.co.jp/"
9inputElement = d.find_element(:name, 'q')
10inputElement.send_keys keyword
11inputElement.submit
12
13word_counts = []
14
155.times do |count|
16  search = d.find_element(:css, "div.rc a")
17  search.click
18  content = d.find_element(:tag_name, "body")
19  word_counts << content.text.length
20  d.navigate.back
21end
22
23puts word_counts
24
25d.quit
26

行動規範の内容に同意します

回答1件

ベストアンサー

google.com の /search は robots.txt で Disable　されているので、クロールすると規約違反になりそうです。もし利用規約をご確認されていないのであれば、一度ご確認ください。

https://www.google.com/intl/ja_JP/policies/terms/archive/20070416/

5.3 Google が提供するインタフェース以外の手段で、本サービスのいずれにもアクセスしないこと（またはアクセスを試みないこと）に同意するものとします。ただし、Google との別個の契約において明確な許可を受けた場合は除きます。特に、ユーザーは、いかなる本サービスについても、いかなる自動化された方法（スクリプトやウェブクローラーの利用によるものを含みます）によりアクセスせず、アクセスを試みないことに同意し、また、本サービスに関して提示されるいかなる robots.txt ファイルにおける指示に従うものとします。

じゃあどうすればいいのか？という話ですが、
検索結果をクロールしたいのであれば、公式でAPIが提供されているのでそちらを利用した方がいいですね。

例えばこういうものがあります。

https://qiita.com/zak_y/items/42ca0f1ea14f7046108c

投稿2020/10/11 11:05