例えば、食べログから情報を取得したい クローラーの作成方法

Question

クローラーを作成したいなと考えています。
練習ですが、食べログのお店の情報を取得して、DBに個別に保存していきたいと考えています。

現在のコード

require 'nokogiri'
require 'anemone'
require 'open-uri'
 
# 対象のURL　
url = "https://tabelog.com/"

html = open(url).read
# Nokogiriで切り分け
doc = Nokogiri::HTML(html, url)
 
#　事業所のタイトルを表示させる
puts "お店の名前"
doc.css('h1').each do |link|
  puts link.content
  link = Shop.new
  link.name = link.content
  link.save
end

この時に,

全国のグルメ・レストランガイド 食べログ

このように表示させることはできます。

ただ、これを食べログのサイトないを巡回させてお店の名前を取得したいと考えています。

詳しい方、教えていただきたいです。
宜しくお願い致します。

Answer 1

まず質問者のこの方法で情報を取得し自HPでお店情報を使用すると無断利用に当たります。

通常この様な事を行う場合 Web API という仕組みを利用します。
(googleやyoutubeなどもこの方法で利用できます)
これはサービス側がシステムを提供します。これを使う以外はNGです。

食べログに関しては以前は提供があったようですが
いまは行っていないそうです。
食べログAPI提供終了していたので代わりのAPIを探した（一覧）

Comments

[masaosan18]

ありがとうございます！
このような記載があったのですが、、、

参考:https://qiita.com/nezuq/items/3cc9772118ad112c18dc
著作権法第47条の7（情報解析のための複製）より、Webスクレイピングでデータを集めて分析し、結果を公開する事は自由に行えます。しかし、会員制サイト（ex.Twitter・Facebook）の場合は、会員となる為に利用規約に同意しているので、それを守る必要があるようです。ただし、対象の会員制サイトの会員でなく、サイトのページが会員以外でも見られる状態にあるならば、利用規約を守らなくても良いと判断できます。

[masaosan18]

まずはAPIの利用が第一優先ということですよね。ありがとうございます。

[kuma_kuma_]

そうですね。集めた情報を自分で使う分にはグレーですがOK。
ただその情報を配信するのはNGです。

NG解釈については、著作権の解釈の違いやHP上にある規約によって変化すると私は思いますが
訴訟等起こされた場合反論できる材料を想定できないのでNGと答えています。
(その辺りは過去の判例を調べてみて下さい。裁判自体ややこしくコストもかかります。
個人で行うのにはリスクが高すぎるのも理由の一つです)

もし使用するのであれば会員になる→
「Web APIを使うには必ず会員にならなくてはならない」のでOK。

という考え方です。

[masaosan18]

勉強になりました。ありがとうございます。