googleで検索したニュースの結果をサイトでまとめたい

Question

参考url
http://disney-info.info/site/detail/115

このサイトはgoogleの検索結果をそのまま転載しているみたいです。
このようなキュレーションサイトを作成してみたいのですが、簡単な方法があれば教えてください。

今考えているのは、
①Selenium Web driverで指定URLを入力してinner HTML取得
②得られたhtmlをparse
③画像やテキストをそれぞれ保存
④サイトに反映されるように加工

といった感じです。
googleなので何かAPIなどあるでしょうか？

Answer 1

スクレイピングをすることは利用規約的にだめだった気がします。

RSSフィードが提供されているので、それを利用すればよいと思います。当然利用規約は必読です。

【自分のウェブサイトに Google ニュースを掲載する - ニュース ヘルプ】
https://support.google.com/news/publisher/answer/4203?hl=ja

Google の RSS フィードをウェブサイトで非商用目的で使用することができます。その際は、Google 利用規約を遵守してください。ウェブサイト上にニュース フィードを組み込む手順は次のとおりです。

---

ほかにも Custom Search を使う方法もあるようですが、有料です。

【Google Custom Search API(カスタムサーチAPI)を使ってプログラム的に検索結果を取得する方法 | urashita.com】
http://urashita.com/archives/8158

昔「Google News Search API」というものも有りましたが、廃止されています。

【Google Developers Japan: 一部 Google Search API 廃止のお知らせ】
https://googledevjp.blogspot.jp/2016/02/google-search-api.html

Comments

[koiitirou3]

ありがとうございました！