質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

Q&A

解決済

1回答

1983閲覧

Nokogiriでのスクレイピングが上手くできない件について

退会済みユーザー

退会済みユーザー

総合スコア0

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

0グッド

0クリップ

投稿2018/04/07 03:12

編集2018/04/07 05:01

Railsのgem'nokogiri'を使ってスクレイピングをして、他サイトの記事タイトルを抜き出して、その記事タイトルを自分のRailsアプリのデータベースに保存したいのですが、上手くできません。

現在の状況

gem'whenever'を使って、定期的にスクレイピングをできるようにしています。(wheneverが正常に動いているのは確認済)

しかし、以下のコードを書いてスクレイピングをさせようとすると、記事タイトルがDBに保存されません。

#models/feed.rb class Feed < ApplicationRecord require 'open-uri' require 'kconv' require 'nokogiri' def self.feed_get url ='http://example.com/' html = open(url) do |f| f.read end doc = Nokogiri::HTML.parse(html,nil,'utf-8') doc.css('h2.entry-title').each do |content| title = content insert_feed(title) end end private def insert_feed(title) feed = Feed.new( title: title ) feed.save end end

上記のコードのどこが間違っているのでしょうか?
よろしくお願い致します。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

スクレイピングの記述をmodelのメソッドではなく、lib/task/○○.rake に記述することで上手くスクレイピングができました。

下記は一例ですが、

require 'open-uri' require 'kconv' require 'nokogiri' namespace :scrape do task :naver_title => :environment do url ='http://example.com/' html = open(url) do |f| f.read end doc = Nokogiri::HTML.parse(html,nil,'utf-8') doc.css('h2.entry-title').each do |content| title = content.to_html feed = Feed.new( title: title ) feed.save end end end

と言う風に書いてあげて、 bundle exec rake scrape:naver_titleを実行すると上手くいきました。

なぜ、モデルのメソッドではダメだったのか原因不明ですが、これから勉強し直します。

投稿2018/04/07 05:00

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問