🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中!

\teratail特別グッズやAmazonギフトカード最大2,000円分が当たる!/

詳細はこちら
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

Q&A

解決済

1回答

2854閲覧

スクレイピングの途中で「404 Not Found (OpenURI::HTTPError)」とエラーで止まってしまう。

Mitsuki_0

総合スコア25

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

0グッド

0クリップ

投稿2020/12/19 16:37

一覧ページから各出品ページのURLを取得し、さらにそのリンク先でUPC番号を取得したいのですが
途中までは取得できていても

/home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:377:in `open_http': 404 Not Found (OpenURI::HTTPError)

このようなエラーが発生し、止まってしまいます。

https://teratail.com/questions/47576
こちらの質問と同じような状態なのかと思い

agent.user_agent_alias = "Windows Mozilla"

を追加したのですが同様にエラーが出てしまいました。

Traceback (most recent call last): 11: from main.rb:41:in `<main>' 10: from main.rb:20:in `item_urls' 9: from main.rb:20:in `each' 8: from main.rb:21:in `block in item_urls' 7: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:35:in `open' 6: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:735:in `open' 5: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:165:in `open_uri' 4: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:224:in `open_loop' 3: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:224:in `catch' 2: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:226:in `block in open_loop' 1: from /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:755:in `buffer_open' /home/ec2-user/.rvm/rubies/ruby-2.5.1/lib/ruby/2.5.0/open-uri.rb:377:in `open_http': 404 Not Found (OpenURI::HTTPError)

下記実行したプログラムのコード

require 'mechanize' require 'nokogiri' require 'open-uri' # 対象URL url = "https://www.ebay.com/sch/i.html?_udlo=7000&_sop=12&_sadis=15&_udhi=9000&_mPrRngCbx=1&LH_ItemCondition=3&_dmd=1&LH_Complete=1&LH_LocatedIn=1&LH_Sold=1&_ipg=200&_from=R40&_nkw=japan&_sacat=0&_fosrp=1" def item_urls(url) urls = [] charset = 'utf-8' agent = Mechanize.new agent.user_agent_alias = "Windows Mozilla" page = agent.get(url) elements = page.search('.lvtitle a') elements.each do |ele| urls << ele.get_attribute('href') end urls.each do |url| doc = Nokogiri::HTML(open(url),nil,charset) sss = doc.search('br').each { |n| n.replace("\n") } upc = sss.xpath("//td[contains(text(), 'UPC:')]/following-sibling::td[1]").text.strip! puts upc end end item_urls(url)

なぜ途中で止まってしまうのかが分からない為
ご教授頂けますようお願い致します。

また、同じプロクラム上で別の質問があり、
https://teratail.com/questions/311309
こちらに投稿しておりますので、そちらも回答頂けますと幸いです。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

doc = Nokogiri::HTML(open(url),nil,charset)でのエラーなので、Mechanizeは関係ないです。
Mechanizeでの取得は成功しているので、たまたまエラーになっただけでは?

(何故ここで再取得?)

投稿2020/12/20 07:40

otn

総合スコア85893

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Mitsuki_0

2020/12/23 16:57

otn様 返信がだいぶ遅くなってしまい申し訳ございません。 何度か試して同様にエラー出ているので”たまたま”というわけではないと思います。 現在はseleniumとそれ以前のところで躓いているので、こちらの質問については後回しにさせて頂ければと思います。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問