質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

Model

MVCモデルの一部であるModelはアプリケーションで扱うデータとその動作を管理するために扱います。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

Q&A

0回答

1152閲覧

【Rails】スクレイピングを使用したDB保存

shiromame0805

総合スコア0

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

Model

MVCモデルの一部であるModelはアプリケーションで扱うデータとその動作を管理するために扱います。

Ruby on Rails

Ruby on Railsは、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

0グッド

0クリップ

投稿2020/11/26 12:36

前提・実現したいこと

railsを使用し、スクレイピングを実装中です。
mechanizeを使用し指定のURLからlink部分を取得後、
DBに保存をしたいのですが、ターミナルに以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

irb(main):004:0> Scraping.psychology_urls
Traceback (most recent call last):
2: from (irb):4
1: from (irb):4:in rescue in irb_binding' NoMethodError (undefined method psychology_urls' for Scraping (call 'Scraping.connection' to establish a connection):Class)
irb(main):005:0>

article.rb

class Article < ApplicationRecord

require 'mechanize'

def psychology_urls
agent = Mechanize.new
page = agent.get('https://www.jstage.jst.go.jp/browse/jjpsy/-char/ja')
@elements = page.search('li .clickable_div')

@elements.each do |ele| article = Article.new article.url = ele.inner_text article.save end

end
end

試したこと

初めはcontrollerに記述しviewsに表示を試み、@elementsまでは表示できました。
その後、eachを使用し該当箇所全てをDBに保存するためにmodelに記述しましたが、
psychology_urlsメソッドが定義されていないとのことで、行き詰まっております。
classを新たに指定したりしましたが、上手くいきません。

DB:articlesテーブルにurlカラムは作成しております。

初歩的かと思いますが、回答いただければ幸いです。
よろしくお願い致します。

補足情報(FW/ツールのバージョンなど)

Rails 6.0.3.4

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

m.ts10806

2020/11/26 12:42

勝手に取得して勝手にデータ保存していい情報なのでしょうか。 スクレイピングと言う時点でかなりグレーなのですけど、それをどう利用するつもりでしょうか。
shiromame0805

2020/11/26 12:53

早速回答いただきありがとうございます。 スクレイピングという技術を学びたく、安易な気持ちで実装を進めておりました。 使用目的として私個人の技術向上のために作成をしております。 もし可能であれば回答いただければ幸いでござます。 よろしくお願い致します。
winterboum

2020/11/28 23:53

undefined method psychology_urls と言われているのですから、それを定義してあるところが有ってもあまり役に立ちません、 読んでいる所を載せてください。 ベタにのせると読みにくいので<code>をつかって
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問