一覧ページから各出品ページのURLを取得し、さらにそのリンク先でUPC番号を取得したいのですが
途中までは取得できていても
/home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:377:in `open_http': 404 Not Found (OpenURI::HTTPError)
このようなエラーが発生し、止まってしまいます。
https://teratail.com/questions/47576
こちらの質問と同じような状態なのかと思い
agent.user_agent_alias = "Windows Mozilla"
を追加したのですが同様にエラーが出てしまいました。
Traceback (most recent call last): 11: from main.rb:41:in `<main>' 10: from main.rb:20:in `item_urls' 9: from main.rb:20:in `each' 8: from main.rb:21:in `block in item_urls' 7: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:35:in `open' 6: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:735:in `open' 5: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:165:in `open_uri' 4: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:224:in `open_loop' 3: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:224:in `catch' 2: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:226:in `block in open_loop' 1: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:755:in `buffer_open' /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:377:in `open_http': 404 Not Found (OpenURI::HTTPError)
下記実行したプログラムのコード
require 'mechanize' require 'nokogiri' require 'open-uri' # 対象URL url = "https://www.ebay.com/sch/i.html?_udlo=7000&_sop=12&_sadis=15&_udhi=9000&_mPrRngCbx=1&LH_ItemCondition=3&_dmd=1&LH_Complete=1&LH_LocatedIn=1&LH_Sold=1&_ipg=200&_from=R40&_nkw=japan&_sacat=0&_fosrp=1" def item_urls(url) urls = [] charset = 'utf-8' agent = Mechanize.new agent.user_agent_alias = "Windows Mozilla" page = agent.get(url) elements = page.search('.lvtitle a') elements.each do |ele| urls << ele.get_attribute('href') end urls.each do |url| doc = Nokogiri::HTML(open(url),nil,charset) sss = doc.search('br').each { |n| n.replace("\n") } upc = sss.xpath("//td[contains(text(), 'UPC:')]/following-sibling::td[1]").text.strip! puts upc end end item_urls(url)
なぜ途中で止まってしまうのかが分からない為
ご教授頂けますようお願い致します。
また、同じプロクラム上で別の質問があり、
https://teratail.com/questions/311309
こちらに投稿しておりますので、そちらも回答頂けますと幸いです。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2020/12/23 16:57