【XPath】Scraperを利用したGoogleスプレッドシートへのデータベース出力【Webスクレイピング】

Question

実現したいこと

Scraperを用いて、Webのデータベースからデータを抽出したいです。
抽出されたデータベースは、Googleスプレッドシートに保存させたいです。

データベースの構造

イメージしやすいように、適当なサンプルデータを使っています。

search.html

著書名	著者名	出版社名
プログラミング基礎	田中太郎	ABC出版社
Webスクレイピング	吉田太郎	ABC出版社
Railsの本	佐藤太郎	ABC出版社
サンプル	田中太郎	ABC出版社

ここで「プログラミング基礎」という本を選択すると、
下のdetail.htmlに遷移し、詳細画面が表示されるものとします。

detail.html
【プログラミング基礎】

出版年	レビュー総数
2001年	43件

Googleスプレッドシートに出力したい結果

タイトル	出版年
プログラミング基礎	2001年

要するに、「違うページにある異なるテーブルのデータを、同じテーブルとして出力することは可能か？」という事を聞きたいです。

ご回答、よろしくお願いします。

Answer 1

Scraperが何かわかりませんが

1. search.htmlを行単位でスクレイピング、detail.htmlのリンク取得
2. detail.htmlをスクレイピング
3. 2の結果をreturnで返す
4. 1と2の結果を結合
5. 必要なところだけCSVで出力

4の結果

著書名	著者名	出版社名	出版年	レビュー総数
プログラミング基礎	田中太郎	ABC出版社	2001年	43件

5の結果

タイトル	出版年
プログラミング基礎	2001年

Comments

[weekplane]

ご回答ありがとうございます。
1.detail.htmlのリンク取得について、対象データが100件以上ある場合など、
リンク取得の手動かが難しい場合、リンク取得の自動化はできるのでしょうか？

[barobaro]

スクレイピングで検索するとサンプルがあると思います。
自分はpythonというプログラムでbeautifulsoupというライブラリを使っています。

プログラムは難しいようでしたらoctoparseというツールがありますのでそちらでされる方がいいかもしれません。

http://jp.octoparse.com

あと具体的なサンプルがあるほうが説明しやすいです