cloud9上でruby on railsのseleniumを導入したい

Question

前提・実現したいこと

cloud9上でruby on railsのseleniumを導入したい

cloud9上でruby on railsのseleniumを導入したいのですが
chromedriverをPATHに通してくださいと言われて困っています。

chromeとselenium-webdriverはダウンロード、インストールできています。

発生している問題・エラーメッセージ

/home/ec2-user/.rvm/gems/ruby-2.5.1/gems/selenium-webdriver-3.142.3/lib/selenium/webdriver/common/service.rb:136:in `binary_path': Unable to find chromedriver. Please download the server from (Selenium::WebDriver::Error::WebDriverError)
https://chromedriver.storage.googleapis.com/index.html and place it somewhere on your PATH.

試したこと

以下のサイトを参考に
which rubyしたときに出てくるディレクトリに最新版のchromedriverを入れて再度実行しましたが
同じエラーがでてきました。
https://qiita.com/nwtgck/items/cfb5052135b8e64af01c

seleniumの導入の仕方を検索するとgem 'chromedriver'でインストールするように書かれておりますが
そのようなgemが見つかりません。どなたかやり方を教えていただけませんか。

Comments

[suama]

which rubyで表示されたところにchromedriverを入れたとありますが、その後、which chromedriver と入力したら同じパスが出ますか？
また、パスが表示された場合、　chromedriver -v と入力してバージョンが表示されますでしょうか？

[sekine_0406]

which rubyと入力すると
~/.rvm/rubies/ruby-2.5.1/bin/ruby
と出てきます。
同じディレクトリ~/.rvm/rubies/ruby-2.5.1/bin
にchromedriver.exeをコピーさせてwhich chromedriverと入力すると
/usr/bin/which: no chromedriver in (/home/ec2-user/.rvm/gems/ruby-2.5.1/bin:/home/ec2-user/.rvm/gems/ruby-2.5.1@global/bin:以下略
と出てきます。

[suama]

ありがとうございます。気になるのは、chromedriver.exe というところですが、exeだとWindows版な気がします。Linux版を使ってみてくださいね。
回答を書いてみますね！

[sekine_0406]

ありがとうございます。Linux版を入れましたが同じメッセージが出てきます・・・
唯一変化があって、chromedriver -v　を入力すると
bash: /home/ec2-user/.rvm/rubies/ruby-2.5.1/bin/chromedriver: Permission denied
と出てきます。。。

[suama]

回答のほうに追記をしていますので、そちらを読んでくださいね。

> 動かない場合は、実行可能なモードになっているか確認してみてください。
> chmod 755 chromedriver としてみて下さい

と書いています。実行権限がついていないからですね。
あと、回答についてのコメントになるので、できれば回答の方にお願いします！

[sekine_0406]

ありがとうございます。
Lintx版のchromeをダウンロードして回答いただいた通りにPATHを通しました。
再度スクレイピングを実行したら以下のようなエラーが出てきました。。。
chromeを再ダウンロードしましたが一向に解決しません。
この後はどのようにすれば解決できるでしょうか。
#0 0x557500c7e6e9 <unknown>: unknown error: Chrome failed to start: exited abnormally (Selenium::WebDriver::Error::UnknownError)
(unknown error: DevToolsActivePort file doesn't exist)
(The process started from chrome location /opt/google/chrome/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)

ちなみにスクレイピングのコードはテスト用で以下のようなものです。
require 'selenium-webdriver'

driver = Selenium::WebDriver.for :chrome
driver.get "http://google.com"

Answer 1

こんにちは。Cloud9でSeleniumを動かしたことはないのですが、Chromeのヘッドレスモードを使うようなイメージでしょうか。

ダウンロード (Linux版)

まず、chromedriverをダウンロードします。
この際、Cloud9はLinuxベースの環境なので、Linux版をダウンロードして下さい。（chromedriver_linux64.zipとか）
次に、zipになっているので、展開をしてください。

ダウンロードして展開後、~/ でもいいですし、作業用ディレクトリに置いてみてください。
（Cloud9上で直にcurlコマンドやwgetコマンドでダウンロードでもいいですし、お使いのPCのブラウザから一旦自分のPCにダウンロードし、Cloud9側にアップロード、でもどちらでもいいのですがLinux版で）

実行できるか確認

ダウンロードして、chromedriverが置いてあるディレクトリに移動してください。
その上で、ターミナルから ./chromedriver -v と入力してみてください。
うまく動くなら、以下のようにバージョンが表示されます。

$ ./chromedriver -v
ChromeDriver 2.43.600229 (3fae4d0cda5334b4f533bede5a4787f7b832d052)

動かない場合は、実行可能なモードになっているか確認してみてください。
ls -laして755 (rwxr-xr-x) とかになっていないと実行可能ではないので、その場合は chmod 755 chromedriver としてみて下さい。（その上で、再度 chromedriver -vで正しくバージョンが出ればOK)

$ ls -la chromedriver 
-rwxr-xr-x@ 1 summa  staff  12685100 11 10  2018 chromedriver

パスを通す

chromedriverの実行が可能なことが確認できたら、メッセージの通りにPATHの通ったところに置くか、chromedriverが置いてあるディレクトリをパスに追加するかしてください。
パスの通し方はご存知でしょうか？
もしわからない場合は、chromedriverが置いてある場所に移動して、以下を実行するといいかと思います。

$ export PATH=$PATH:`PWD`

うまくパスが通ったら、ディレクトリを移動しても chromedriver -v と入力すると、バージョンが正しく表示されます。

この状態で、rubyでなにか処理をさせると大丈夫になるかと思います。

追記：unknown error: Chrome failed to start: exited abnormally の件

unknown error: Chrome failed to start: exited abnormally

とありましたが、思いつくところを。

Seleniumは、本来は指定のブラウザが自動で立ち上がり、指定のサイトにアクセスする...という処理をします。お手元のMacやWindowsのGUIが使えるPCで実行する場合であれば、基本的にはブラウザが立ち上がり一通り処理を終えたら自動でブラウザが閉じられます。

さて、Cloud9は「ヘッドレス環境」というものになるので、ブラウザを立ち上げないで動かすといったオプションを、ソースコードで指定しないといけません。
エラーが出てうまく進めない場合は、このあたりのヘッドレス環境で動かすためのオプションが必要になります。

Selenium, headless といったキーワードで出てくるかと思います。
以下も参考にしてみてくださいね。（たぶん --headless を指定してあげればいいと思います）

https://github.com/SeleniumHQ/selenium/wiki/Ruby-Bindings#command-line-switches

こんな感じかな。。。。と。

require 'selenium-webdriver'

options = Selenium::WebDriver::Chrome::Options.new
options.add_argument('--headless')
driver = Selenium::WebDriver.for :chrome, options: options

driver.get "http://google.com/“

Comments

[sekine_0406]

ありがとうございます。
Lintx版のchromeをダウンロードして回答いただいた通りにPATHを通しました。
再度スクレイピングを実行したら以下のようなエラーが出てきました。。。
chromeを再ダウンロードしましたが一向に解決しません。
この後はどのようにすれば解決できるでしょうか。
#0 0x557500c7e6e9 <unknown>: unknown error: Chrome failed to start: exited abnormally (Selenium::WebDriver::Error::UnknownError)
(unknown error: DevToolsActivePort file doesn't exist)
(The process started from chrome location /opt/google/chrome/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)

ちなみにスクレイピングのコードはテスト用で以下のようなものです。
require 'selenium-webdriver'

driver = Selenium::WebDriver.for :chrome
driver.get "http://google.com&quot;

[suama]

こんにちは。動かせるところまでは進んでいるようですね。
Cloud9でなく、たとえば手元のPCでSeleniumを動かしたことはありますでしょうか？

いろいろと何が必要なのかをおおまかにわかっていないと、サーバ側で動かすのはちょっと難しいとは思います。
本来はブラウザが自動で立ち上がってサイトにアクセスするという処理をしますが、Cloud9は「ヘッドレス環境」というものになるので、ブラウザを立ち上げないで動かすといったオプションを、ソースコードで指定しないといけません。
たぶんこのあたりの設定だと思います。

（回答に補足しておきますね）

Answer 2

おっしゃられた通りプログラムの方を書き換えました。
いただきましたコードで試したら正常に動きました！
やはりheadressであることを明記することが必要だったようです！
本当にありがとうございました！

Comments

[suama]

よかったですね！