以下の仮想環境でrubyでクローラーを作っています。
bash
1$ uname -a 2Linux test.example.com 3.10.0-514.16.1.el7.x86_64 #1 SMP Wed Apr 12 15:04:24 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux 3 4$ ruby -v 5ruby 2.4.0p0 (2016-12-24 revision 57164) [x86_64-linux]
$ tree . ../crawler ├── Gemfile ├── Gemfile.lock └── test.rb
ruby
1# Gemfile 2 3source "https://rubygems.org" 4 5gem 'pry' 6gem 'nokogiri' 7gem 'anemone' 8gem 'sqlite3' 9gem 'cocproxy'
その過程で、クローラーの対象となるサーバに負荷をかけないためのcocproxyというものを知り、是非とも使いたいと考えました。
そこで早速クローラーをGemインストールしてcocproxyコマンドでサーバを立ち上げ、以下のようなコードを実行しようと思ったのですが
ruby
1# test.rb 2require 'nokogiri' 3require 'open-uri' 4 5doc = Nokogiri::HTML(open("http://www.yahoo.co.jp", proxy: "http://localhost:5432")) 6puts doc.title
/home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/net/protocol.rb:44:in `connect_nonblock': SSL_connect SYSCALL returned=5 errno=0 state=SSLv2/v3 read server hello A (OpenSSL::SSL::SSLError) from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/net/protocol.rb:44:in `ssl_socket_connect' from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/net/http.rb:948:in `connect' from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/net/http.rb:887:in `do_start' from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/net/http.rb:876:in `start' from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/open-uri.rb:323:in `open_http' from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/open-uri.rb:741:in `buffer_open' from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/open-uri.rb:212:in `block in open_loop' from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/open-uri.rb:210:in `catch' from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/open-uri.rb:210:in `open_loop' from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/open-uri.rb:151:in `open_uri' from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/open-uri.rb:721:in `open' from /home/vagrant/.rbenv/versions/2.4.0/lib/ruby/2.4.0/open-uri.rb:35:in `open' from te.rb:7:in `<main>'
というエラーが出てきます。
解決策を探して他のサイトをみたときに、以下のコマンドで出た場所にssl証明書がないことが原因だというのを発見したので、早速実行してみたところ
bash
1$ ruby -ropenssl -e "p OpenSSL::X509::DEFAULT_CERT_FILE" 2"/etc/pki/tls/cert.pem"
と出たのですが、普通にありました........。
というわけでお手上げ状態になってしまったので、どなたかのご助力をお願いしたいです。
お願いいたします
あなたの回答
tips
プレビュー