質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

Active Record

Active Recordは、一つのオブジェクトに対しドメインのロジックとストレージの抽象性を結合するデザインパターンです。

Q&A

1回答

1239閲覧

activerecordに解析で取得したデータを保存する方法

renren643

総合スコア279

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

Active Record

Active Recordは、一つのオブジェクトに対しドメインのロジックとストレージの抽象性を結合するデザインパターンです。

0グッド

0クリップ

投稿2018/03/21 15:41

nokogiriとautopagerizeを使ってスクレイピングしてきたデータを、railsのActiveRecordに保存したいのですが、保存の仕方がわからず困っています。

link_checkersテーブルに解析で取得したtitleとurlを格納し、一回一回クロールせずに再利用したいのですが、どのようにしたらいいのでしょうか?

<やったこと>

まずmodelを作成し、http://hoge.xyz/?s=fugaにあるリンクを取得する処理を書き、

↓models/link_checker.rb

class LinkChecker < ApplicationRecord require "multi_json" require "autopagerize" require 'nokogiri' require 'open-uri' def initialize() url = "http://hoge.xyz/?s=fuga" siteinfo = MultiJson.load(File.read("siteinfo.json")) @page = Autopagerize.new(url, siteinfo, :maxpage => 2) end def get_nextlink @links = [] @page.each do |page| doc = Nokogiri::HTML.parse(page.html) @elements= doc.xpath('//*[contains(@id, "post-")]') @elements.each do |a| link = a.xpath('div/header/h2/a').attribute('href') @links << link end end @links.uniq! @links end end

次に、controllerで解析し、取得したtitleとurlを@andにハッシュ形式で渡し、viewでeachを回すことでブラウザ上に表示できました。

↓controllers/link_checker.rb

class LinkCheckersController < ApplicationController def index crawler = Post.new @links = crawler.get_nextlink @and = {} @links.each do |link| charset = nil html = open(link) do |f| charset = f.charset f.read end doc = Nokogiri::HTML.parse(html, nil, charset) title = doc.xpath('//*[contains(@id, "post-")]/article/header/h1').text url = doc.xpath('//*[@id="the-content"]/h2/span/a').attribute('href').text @and.store(title, url) end end end

しかし、これだとDBに格納されていないので、DBに保存したいです。

これを以下のようにしましたがエラーがでます。
ここを変更することでDBに保存することもできるようになると思うのですが、どのようにしたらいいのでしょうか?

class LinkCheckersController < ApplicationController def index end def show end def new @crawler = LinkChecker.new links = @crawler.get_nextlink links.each do |link| charset = nil html = open(link) do |f| charset = f.charset f.read end doc = Nokogiri::HTML.parse(html, nil, charset) @crawler.title = doc.xpath('//*[contains(@id, "post-")]/article/header/h1').text #これと @crawler.url = doc.xpath('//*[@id="the-content"]/h2/span/a').attribute('href').text #これを保存したい @crawler.save end end end

イメージ説明

テーブルは以下のようになっています。

create_table "link_checkers", force: :cascade do |t| t.string "title" t.string "url" t.datetime "created_at", null: false t.datetime "updated_at", null: false end

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

とりあえず,エラーの原因は LinkChecker モデルに initialize を定義してしまっていることですね。「LinkChecker not initialized」と出ています。

LinkChecker クラスに,①文字どおりリンクチェッカーとしての役割と,②リンク情報(タイトルと URL)を保持するモデルの役割,の二つを兼務させようとしていませんか。

Rails のモデル(ApplicationRecord の子クラスとして定義)を使ってデータベースにデータを記録させる場合,モデルは一つのテーブルに対応します。そして,そのモデルのインスタンスはそのテーブルの一つのレコードに対応します(保存した場合)。

①と②はクラスを分けるべきでしょう。

投稿2018/03/21 19:11

scivola

総合スコア2108

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

renren643

2018/03/22 07:17

回答ありがとうございます。 LinkChecker クラスと、解析保存するクラス(TextChecker クラス)を作成した後はTextCheckerモデルを作成するという認識であっていますか? LinkChecker クラスはモデルに格納する必要はないので、libに書く等したらいいのでしょうか?
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問