Naverまとめの全ページをスクレイピングにはどう辿るのが効率的でしょうか。

Question

ネイバーの全ページのタイトル、リンクを収集したいのですが、
https://matome.naver.jp/sitemap.xml こちらのサイトマップには全件無さそうで、URLにある個別のIDは前記事連番では無いので、カウントダウンしながら等は難しいのかなと思いました。

リンクをクローラで回してたどる場合は重複ページを開くことが非常に多くなるため、効率的ではないかと思うのですが、ロジックが思いつかないのですが、どのようにすれば効率よく、存在するページを辿っていけるでしょうか。

Answer 1

利用規約ぐらい読みましょうよ。

抜粋
第4条（コンテンツの取扱い）
本サービスが当然に予定している利用態様を超えて利用（複製、送信、転載、改変などの行為を含みます。）してはなりません。

ただし、コンテンツを入手したいのであれば、コンテンツ提供をビジネスとして想定した規約になっているので、運営会社へコンタクトすることで、入手できると思います。

Comments

[cutter]

統計分析に使うようなイメージでも引っかかるのでしょうかね。
複製ではなくビッグデータ分析なら良いかと思いました。

[退会済みユーザー]

「本サービスが当然に予定している利用態様」じゃないからスクレイピングではダメでしょ。

但し書きしたように、コンテンツ提供をビジネスとして想定しているので、運営会社へコンタクトするのがコンテンツを利用したい人のあるべき姿です。

Answer 2

#encoding : utf-8
require"open-uri"
require"certified"

url = "https://matome.naver.jp/girls"

puts "作業開始"

loop{
  sleep(4)
  page = open(url, &:read)
  title = page.scan(%r|<a href="(.+?)" title="(.+?)"  >|).reject{|e| e[0].include?("odai") == false}

  File.open("URL集.txt", "a") do |f|
    title.each do |element|
      f.puts("#{element[1]}" + "\t" + "https://matome.naver.jp#{element[0]}")
    end
  end

  next_page = page.scan(%r|<strong>(.+?)</strong>|).flatten[0].to_i + 1
  list = page.scan(%r|<a href="#" onclick="(.+?)"  >(\d+?)</a>|).map{|e| e[1].to_i}
  if list.include?(next_page)
    url = "https://matome.naver.jp/girls" + "?page=" + next_page.to_s
    puts "次は#{next_page}ページ目です。"
  else
    break
  end
}

考えてみました。収集した記事のタイトルとURLは「URL集」に保存されます。
###補足
Neverまとめを理解していませんでした。よく見てみると
開いたときに出てくる記事が全てではないということが分かりました。

変更

#encoding : utf-8
require"open-uri"
require"certified"

base = "https://matome.naver.jp/topic/1Lv56"

url = base

puts "作業開始"

loop{
  sleep(4)
  page = open(url, &:read)
  title = page.scan(%r|<a href="(.+?)" >(.+?)</a></h3>|)

  File.open("URL集.txt", "a") do |f|
    title.each do |element|
      f.puts("#{element[1]}" + "\t" + "#{element[0]}")
    end
  end

  next_page = page.scan(%r|<strong>(.+?)</strong>|).flatten[0].to_i + 1
  list = page.scan(%r|<a href="#" onclick="(.+?)"  >(\d+?)</a>|).map{|e| e[1].to_i}
  if list.include?(next_page)
    url = base + "?page=" + next_page.to_s
    puts "次は#{next_page}ページ目です。"
  else
    break
  end
}

各トピックのURLをとることができれば、eachで配列から一つずつbaseに入れて
動かせます。どうやって各トピックのURLを集めるのかという問題がありますが。
記事被りについては、別で対応した方が楽だろうと私個人は思います。

Comments

[cutter]

ありがとうございます。
やはりそうやってカテゴリやタグやトピックなどの一覧をどうにか収集、からのページめくり、でもトピック被りしていたりすると膨大なデータから重複チェック、という事が必要になりそうなのですね。。

[退会済みユーザー]

一旦記事を全て収集してから作ったテキストファイルに手を加えるということを考えています。
記事を収集しながら重複チェックをすると大変そうなので。