質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

Ruby on Rails 4

Ruby on Rails4はRubyによって書かれたオープンソースのウェブフレームワークです。 Ruby on Railsは「設定より規約」の原則に従っており、効率的に作業を行うために再開発を行う必要をなくしてくれます。

Q&A

解決済

1回答

418閲覧

ページネーションにしたがってスクレイピングした結果をビューで表示する

renren643

総合スコア279

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

Ruby on Rails 4

Ruby on Rails4はRubyによって書かれたオープンソースのウェブフレームワークです。 Ruby on Railsは「設定より規約」の原則に従っており、効率的に作業を行うために再開発を行う必要をなくしてくれます。

0グッド

0クリップ

投稿2017/10/04 17:05

ページネーションにそって次々スクレイピングしていきたいんですが、urlにeach文を回して数字順にリンクを変えていくという方法をとりました。

require "open-uri" require "nokogiri" (2..5).each do |i| url = "https://ameblo.jp/alexander1203/entrylist-#{i}.html" user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.63 Safari/537.36' charset = nil html = open(url, "User-Agent" => user_agent) do |f| charset = f.charset f.read end doc = Nokogiri::HTML.parse(html, nil, charset) puts doc.css("#main > div.skin-blogArchive > div.skin-blogArchiveBody.skin-bgMain > ul > li> div > div:nth-child(2) > h2 > a").inner_text puts "---------------------------------------------" end

このコードでうまくいったのですが、次はこの結果をviewを通してブラウザで表示したいのです。
しかし、ブラウザ上では全てが表示されず、最後のページの結果だけ表示されている状態になります。

コントローラー↓

def top require "open-uri" require "nokogiri" (2..5).each do |i| url = "https://ameblo.jp/alexander1203/entrylist-#{i}.html" user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.63 Safari/537.36' charset = nil html = open(url, "User-Agent" => user_agent) do |f| charset = f.charset f.read end doc = Nokogiri::HTML.parse(html, nil, charset) @titles = [] doc.css("#main > div.skin-blogArchive > div.skin-blogArchiveBody.skin-bgMain > ul > li> div > div:nth-child(2) > h2 > a").each do |row| @titles << row end end end

ビュー↓

<% @titles.each do |title| %> <div> <%= title.text %> </div> <% end %>

また、根本的にこのやり方ではおかしかったり、他に効率的なやり方があれば教えてください。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

前回と同じような間違いなんですが、変数(@titles)を上書きしているのが原因です。
コメント付きで修正してみました。

ruby

1def top 2 require "open-uri" 3 require "nokogiri" 4 5 # 初期化はループの外で1回だけやる 6 @titles = [] 7 (2..5).each do |i| 8 url = "https://ameblo.jp/alexander1203/entrylist-#{i}.html" 9 user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.63 Safari/537.36' 10 charset = nil 11 html = open(url, "User-Agent" => user_agent) do |f| 12 charset = f.charset 13 f.read 14 end 15 doc = Nokogiri::HTML.parse(html, nil, charset) 16# ここで毎回初期化してしまっているので、せっかく取ったデータが消える 17# @titles = [] 18 doc.css("#main > div.skin-blogArchive > div.skin-blogArchiveBody.skin-bgMain > ul > li> div > div:nth-child(2) > h2 > a").each do |row| 19 @titles << row 20 end 21 end 22end

おまけ:メソッド化してみる

さすがにコードの行数が長くなって来たので、ページの取得処理はメソッド化したほうがすっきりします。

ruby

1require "open-uri" 2require "nokogiri" 3 4def top 5 @titles = [] 6 (2..5).each do |page| 7 @titles += get_titles(page) 8 end 9end 10 11def get_titles(page) 12 titles = [] 13 14 url = "https://ameblo.jp/alexander1203/entrylist-#{page}.html" 15 user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.63 Safari/537.36' 16 charset = nil 17 html = open(url, "User-Agent" => user_agent) do |f| 18 charset = f.charset 19 f.read 20 end 21 doc = Nokogiri::HTML.parse(html, nil, charset) 22 doc.css("#main > div.skin-blogArchive > div.skin-blogArchiveBody.skin-bgMain > ul > li> div > div:nth-child(2) > h2 > a").each do |row| 23 titles << row 24 end 25 26 return titles 27end

投稿2017/10/05 01:16

mingos

総合スコア4025

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

renren643

2017/10/05 01:26

回答ありがとうございました。ちゃんとできました。 前回は仕組みは理解できたのですが、それを利用できるレベルにはなっていなかったみたいです。 分かりやすい解説つきで、丁寧に教えていただいた上、おまけ付きで。。。。 本当にありがとうございました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問