RubyによるWebスクレイピングでの404エラー対策

Question

RubyにてWebスクレイピングをおこないたいと思っております。
対象のURLは末尾の7桁の数字を変更して、変更した先のh2要素を抜くというものです。
初回のアクセス時にbasic認証があり、mechanizeで対策をしたのですが（以下コード）
現在問題点は2つございます。
①unexpected end of input errorが起きているが場所がわからない
②mechanizeの書き方が間違っていないか？
ご教示いただけると幸いです

require './Loader.rb'
require 'open-uri'
require 'openssl'
require 'nokogiri'
require 'mechanize'

test = Loader.new
test.loading
agent = WWW::Mechanize.new{|a| a.log=Logger.new('access.log')}
agent.verify_mode = OpenSSL::SSL::VERIFY_NONE
agent.user_agent = 'Windows IE11'
agent.add_auth("URLパス", 'ユーザー名', 'パスワード')
url = "対象URL"
  
  $arry.each do $num
  	charset = nil
  	begin
  		html = open(agent.get(url)) do |f|
  		charset = f.charset 
  		f.read 

  		rescue Timeout::Error
    		puts "caught Timeout::Error!"
    	retry # タイムアウト用
  		rescue WWW::Mechanize::ResponseCodeError => e
    	case e.response_code
    	when "404"
      		puts "caught Net::HTTPNotFound!"
      	next # 404用
    	when "502"
      		puts "caught Net::HTTPBadGateway!"
      	retry # 502用
    	else
      		puts "caught Excepcion!" + e.response_code
      	retry   	
  	end



	doc = Nokogiri::HTML.parse(html, nil, charset)
	doc.xpath('//div[@id="main"]/h2').each do |node|
	p node
	end 
  end

Answer 1

• エラーに関して: ruby -c file_name.rb で構文チェックを走らせるとわかりやすいです
• $arry.each に処理を詰め込みすぎています 処理のグループ分け(名前付け)をして、関数に切り出しましょう
• グローバル変数の利用は避け、そういったシーンではクラスを定義してその中でインスタンス変数を利用するとよいかもしれません
• if と同様に、do...end もネストを深くしないよう関数に切り出すなどで浅く保つ

まずは見易いコードに整え、そのあとで構文エラーに対応しても遅くはないと思います

---

生の処理を関数に換える

例外が発生する処理も、yield を利用すると関数として切り出すことができるとおもいます

例:

def calc
  yield
rescue ZeroDivisionError => e
  puts e.message
end

puts calc { 1 + 1 } # => 2
puts calc { 0 / 0 } # => divided by 0

Mechanize の初期化:

def mechanize_agent
  agent = WWW::Mechanize.new { |a| a.log = Logger.new('access.log') }
  agent.verify_mode = OpenSSL::SSL::VERIFY_NONE
  agent.user_agent = 'Windows IE11'
  agent.add_auth('URLパス', 'ユーザー名', 'パスワード')
  agent
end

このように関数として切り出していくと、構文エラーの発生しにくいコードにしていくことができるのではないでしょうか

何か参考になれば幸いです

Links

• bbatsov/rubocop - GitHub
• Ruby - Rubocopを使ってコーディングルールへの準拠チェックを自動化 - Qiita

Comments

[mycee0001]

@gouf様
的確なアドバイスありがとうございます。まずは頭の整理ふくめて、関数単位の切出しやってみます

Answer 2

他の方が指摘されているようにbegin内の
html = open(agent.get(url)) do |f|
に対してendが無いように見受けられます。

私も初心者で
やりたいことに合致するかわかりませんが、
下記のようにしてみてはいかがでしょうか？

      begin
        page = agent.get(url)
      rescue Timeout::Error
        puts "caught Timeout::Error!"
        retry # タイムアウト用
      rescue Mechanize::ResponseCodeError => e
        case e.response_code
          when "404"
            puts "caught Net::HTTPNotFound!"
          when "502"
            puts "caught Net::HTTPBadGateway!"
            retry # 502用
          else
            puts "caught Excepcion!" + e.response_code
            retry
        end
      end

お役に立てれば幸いです。

Answer 3

1. インデント（段下げ）がでたらめになっているのは自覚されていますか？

インデントを正しくすれば、endの抜けに気づけると思います。二カ所ですね。
インデントを全くしないのでもなく、でたらめにするというのは、何故なんですかね？

1. $arry や $num は、Loader.rb で定義されているのだと思いますが、グローバル変数経由以外の方法がおそらくとれると思います。

2. $num が意味不明に置かれています。

3. リトライしても又同じエラーになりそうな気がしますけど。

4. each ループ内にこれくらいの機能の処理を書くのは良いと思いますが、エラー処理が混ざっているのが見にくいですね。aget.getに一皮かぶせたメソッドを作って、その中でエラー処理をするのがいいように思います。

5. require './Loader.rb' は、「実行時のカレントディレクトリにあるLoader.rb」を読み込みますが、意図と合っていますか？「このスクリプトと同じディレクトリにあるLoader.rb」の場合は、require_relative 'Loader.rb' です。