スクレイピングするためのanemoneの書き方を見て欲しいです

Question

なんども同じ様な質問すみません。
現在このサイトから学校の名前だけを抜き出して自分が制作しているサービスのデータベースに突っ込みたいと思っています。（https://www.gakkou.net/chugaku/src/?srcmode=pref&p=2）
そこでスクレイピングという技術を知り、いろいろ調べているのですが、このサイトに書いてある通り実行しようとしています。（https://vsanna.me/2015/01/26/scraping_start_up2/）

しかし、いまいちコードの書き方がわからなく、合っているかもわかりません。
周りに相談できる人がいないので、見て頂きたいです。
先ほどのサイトの青森県の学校の名前だけを抜き出そうとしています。

require 'nokogiri'
require 'anemone'

opts = {
    depth_limit: 1
}


Anemone.crawl("https://www.gakkou.net/chugaku/src/?srcmode=pref&p=2", opts) do |anemone|
    anemone.on_every_page do |page|
        page.doc.xpath("/html/section[@class='ListWrapper']/li/h3").each do |node|
            name  = node.xpath("./li/a").to_s
            
        end
    end
end

page.docのところは自信がありませんし、
nameの右辺は全くわかっていません。

また、この学校の名前一覧はnameの中に入るものだと思いますが、これをどのようにしてデータベースに流し込めば良いのでしょうか。
すでに、rails g model Aomori name:stirng
rails db:console　は実行してあります。

さらに、ここからは少し余談ですが、1日に１００回以上はアクセスしないでくださいと元のサイトには書いてありますが、このようにして取得してデータベースの中に入れて使う分は相手のサイトに迷惑はかけていませんよね？
これも含めて回答よろしくお願いいたします。

Answer 1

page.docのところは自信がありませんし、

nameの右辺は全くわかっていません。

まずは、https://www.amazon.co.jp/dp/4797380357 のような書籍を読んで、基本的な知識を身につけないと、半歩歩いて聞く、半歩歩いて聞く、を繰り返すことになります。

Answer 2

まずはクーロンで処理を回すのではなく、手動で実行してデータが取得出来るかを確認してみてはいかがでしょうか？
自分であったら、以下のように開発を進めます。

1. スクレイピングでデータの取得が出来るか確認
2. 色々なケースで行なってみて、問題ないかをテスト
3. クーロンのテストケースを作ってテスト
4. クーロンでスクレイピングを実行できるように書き換える

あとはモデル名やコントローラー名などを記載していただいた方が回答を得やすいと思います！

Comments

[ninpig04]

あ、抜けていました
モデル名はSchoolです
コントローラはschool_controller.rbで、アクションとして
def
@aomori=Aomori.all
end
でデータベースの青森の学校n名前一覧を取得してビューで
<h1>あなたの中学校を選択してください。</h1>

<h1>学校一覧</h1>
<% @junior_aomori.each do |aomori| %>
<div class="aaa">
<div class="aaaa">
<%= link_to(aomori.name, "") %>
</div>
</div>
<% end %>
</div>
</div>

という風にして表示しようと思っています。
すみません、勉強し始めて１ヵ月半なもので、回答いただいた内容が理解できませんでした。。。
私のURLの取得方法に誤りはありますかね？