WEBページの情報を自動認識してコンテンツを分類して持ってくるには

Question

100のサイトのデータ取得には、100種類のプログラムを作成する必要があるものを、自動認識してコンテンツを分類して持ってくるには具体的にはどういう作業が必要なのでしょうか。
教育データとして定義を多数手動で作っておいて、という事なのでしょうか。

参考記事
https://goo.gl/MVS9LP

定義を手動でしなければならないのでしょうか。

それとも教育データとしてある程度用意すれば、定義と若干違っても似ているものは取れるのでしょうか。
指定箇所指示に対してゆらぎなどを含めるのでしょうか。

https://nelog.jp/import-io
このツールなどは、自動で要点を判別しています。

Answer 1

別の方とのやり取りから推測すると、
100種類のサイトを自動でジャンル分けのようなことがやりたいということでしょうか。

その前提ですが
１．Webスクレイピングによりサイト内の文字を取得
http://qiita.com/beatinaniwa/items/72b777e23ef2390e13f8
https://www.tam-tam.co.jp/tipsnote/program/post9744.html
２．形態素解析等をして単語や必要な情報に整理する
http://develtips.com/python/82
３．機械学習等により自動で分類
（簡単なものだとナイーブベイズ等）

といった流れになるかと思います。

Answer 2

つまりこういうことですか？

ディープラーニングを用いたエロ画像の収集と自動化

Comments

[cutter]

違います。
それはツイッターからしか取得していません。

聞きたいのはどんなサイトからでも、会社概要ページがあれば取得するなどや、本文部分（サイドバーやヘッダー、フッターなどを除く）を認識して取得する方法です。

[Zuishin]

住所と書いてあって地名があればそれは住所です。

一つ教えました。あとは類推してください。

企業が開発したと書かれていますよね？
ここで軽く聞いて一言で解決するものだとはまさか思っていませんよね？

[Zuishin]

おまけです。

footer という ID の DIV は恐らくフッターです。

[cutter]

あくまで考え方としてなのですが、教えて頂いたようなことは容易に想像出来るのですが、やはり定義を手動でしなければならないのでしょうか。
それとも教育データとしてある程度用意すれば、定義と若干違っても似ているものは取れるのでしょうか。
指定箇所指示に対してゆらぎなどを含めるのでしょうか。

[Zuishin]

方法は色々考えられます。実践せず一概にどれが一番とは言えませんが、仮に人工知能で集めるとすると、集めてきたサンプルデータの中からどれが住所でどれが企業名かという分類は人間がする必要があります。