ruby nokogiri スクレイピング

Question

require 'bundler/setup'
require 'open-uri'
require 'nokogiri'
require 'csv'

def get_parsed_html(url)
  html = URI.open(url) do |f|
    charset = f.charset
    f.read
  end

  Nokogiri::HTML.parse(html,nil,'utf-8')
end

path = "result_1.csv" #事前に取得したurlが行ごとに格納されている
  url_array = Array.new
    CSV.foreach(path) do |row|
      url_array << row[0]
    end

binding.pry #ここのbinding.pryでurl_arrayにurlが入っていることは確認済 

url_array.each do |url| 

doc = get_parsed_html(url)

  doc.css('body > div > div').each do |total| 

end

**url_array.each do |url| **　の部分で

initialize': No such file or directory @ rb_sysopen - https:/aaaaaaaaaaaaaaaaa (Errno::ENOENT) from /Users//ruby/3.0.0/open-uri.rb:31:in open'
from /Users//3.0.1/lib/ruby/3.0.0/open-uri.rb:31:in open' from lib/0106.rb:19:in get_parsed_html'
from lib/0106.rb:36:in block in <main>' from lib/0106.rb:34:in each'
from lib/0106.rb:34:in `<main>'

このエラーがでます。
path = "result_1.csv"　これの場所は確認ずみです。

どこが間違っているのでしょうか。
よろしくお願いします。

Comments

[melian]

例えば、
get_parsed_html('http:/www.google.com/')
などのように URL が形式として間違っているなどの理由が考えられます。

[dc_jiu]

確認しましたが対象のURLに飛べます。ブラウザに表示されているURLで試しましたがエラーでした

Answer 1

initialize': No such file or directory @ rb_sysopen - https:/aaaaaaaaaaaaaaaaa

https://となるべきところがhttps:/であるためにURLと見なされず、普通のファイル名と見なされて、そんなファイルは無いと言うことでエラーになってます。

あと、でたらめなインデントで書く癖は直した方が良いです。

Answer 2

このエラーはURI.open(url) の部分で存在しない url が与えられたということを意味しています。
csvにある全てを ブラウザーで確認してみてください。
最初ではないです、全部です。
一番ありそうなのは 空行がある。多分最後に。
あ、お尻に改行が残ってません？それも。

url_array.each do |url| の直下に 今どのURLなのか、をputs してみてはどうでしょう
改行の存在の確認もするなら pp の方がよいかな

Comments

[dc_jiu]

csvにある全てを ブラウザーで確認してみてください。
最初ではないです、全部です。
>>　URLを１つにしブラウザから取得したURLで試しましたが同一エラーが発生しております。

一番ありそうなのは 空行がある。多分最後に。
あ、お尻に改行が残ってません？それも。
>> CSVファイルをオールクリアしてURL１つだけ置いて改行せずに試しましたが同一エラーです。

url_array.each do |url| の直下に 今どのURLなのか、をputs してみてはどうでしょう
>>puts結果は改行されていないURLが表示されました。

[winterboum]

url_array.each do |url| ではなく url="。。。。。" と定義して doc = get_parsed_html(url) を試すとどうなります？
。。。。 は実際のurlにしてね