WEBニュースクリッピングサイト

Question

いつもお世話になっております。

以下のサイトのようなWEBニュースから、特定のキーワードが入っている記事をクリッピングしてくるようなサービスを作りたいと思っております。
http://www.elnet.co.jp/el/service/webnewsclipping/

このようなシステムを作る場合、例えば1,500サイトを常時スクレイピングしているのでしょうか？
もしくは提携してAPIで取得する、などしているのでしょうか。

仕組みがいまいち分からないのと、膨大な量になりそうだったのでどのように作っているの気になりました。

RSSやAtomのようなもので取得してくるのでしょうか。

一度上記システムのようなものに携わられた方、教えていただけると助かります。

よろしくお願い致します。

Answer 1

交渉をしてAPI提携していればAPIでデータを取得し、なければ規約確認や問い合わせで可能な事を確認してから、相手先に過負荷をかけないようにWebサイトをスクレイピングプログラム等で取得して、サーバーで必要な条件で加工しているかと思います。
RSSやAtomは記事の要約なのでその情報で足りれば使うと手間は少ないかと思います。

Comments

[kenkbou]

ありがとうございます。
もう少し効率的な方法は無いんですかねえ・・・
RSS等で足りれば楽ですよね。

[aro10]

API公開自体が外部との連携を考えて配信元が準備するものなので、それが無い場合は受信側が工夫をして負担をする形になります。
RSSで足りる程度でサービスを設計すると開発負担は軽いと思います。
ページ中の情報を構造化せずに、記事中にとあるキーワードが含まれているかの抽出程度であれば、ページのテキストデータを全文検索システムに入れて解析する方法もあるかと思いますが、データ量的にやや大掛かりなシステムになります。

[kenkbou]

ご丁寧にありがとうございます。
まずAPIが存在しているか確認してみようと思います。