質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.61%

検索エンジン indeed

解決済

回答 1

投稿

  • 評価
  • クリップ 1
  • VIEW 842
退会済みユーザー

退会済みユーザー

yahoo indeed ジョブ北 あるきた 転職エージェントなど多量のサイトを起源として、 仕事名、電話番号、メールアドレスなどをクロールするシステムを作りたい。 単一のサイトならば、仕事名は class=jobemployer などで固定されていてスクレイプしやすいと思うのですが、 複数のサイトにまたがっていると、 <h1 class=... など表記が異なる。 indeedなどさまざまなサイトから情報を引っ張ってまとめている検索エンジンの仕組み 特にクロールはどうなっているのか教えて欲しいです。

ex
■検索サイト
Yahoo、Google、企業サイト、楽天市場、Yahooショッピング、ハローワーク、タウンワーク、楽天トラベル、ぐるなび、ホットペッパー、アットホーム、価格.com、iタウンページ、食べログ、マイナビ、Googleマップ、リクナビ、リクナビnext、DODA、エン転職、domain、whois(全部・個別選択)

■収集項目
企業名、部署名、担当者、メールアドレス、住所、引用先URL、業界、職種、電話番号、資本金、従業員数、設立年月日、年商、検索キーワード

■検索方法
・業種
・職種
・地域(都道府県)
・フリーワード検索

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • 退会済みユーザー

    退会済みユーザー

    2019/04/09 01:07

    具体例として書きました。

    キャンセル

  • tiitoi

    2019/04/09 13:22

    そのようなことを厳密にやりたい場合は、サイトごとに HTML の構成が異なるので、基本的には個別に解析するスクリプトを書く必要があると思います。
    メールアドレスや企業名等であれば、大雑把でよければ、テキスト全体から正規表現で引っ掛けることもできるかもしれません。(~株式会社、~@ドメイン などで)

    実際世の中にあるクローリングして情報を集めて、自動で内容を処理するシステムというのは Google ぐらいで、他の特定分野に特化している検索サイトというのは、クローリングで情報を集めているわけではありません。
    例えば、不動産検索サイトの summo やニュースキュレーションサイトのスマートニュースなどでは、1次ソースの企業からデータを提供してもらう形で情報を得ています。

    キャンセル

  • 退会済みユーザー

    退会済みユーザー

    2019/04/10 05:12

    ありがとうございます

    キャンセル

回答 1

checkベストアンサー

0

最初は、収集項目をコードで設定してスクレイプをするプログラムを作成し、機械学習を使ってそれを自動化していくようにすればいいのではないでしょうか。

企業名、部署名、担当者、メールアドレス、住所、引用先URL、業界、職種、電話番号等はそれぞれに特徴があるので、サイト毎に表記が異なっていても自動で分類ができると思います。例えば、メールアドレス、電話番号はみただけでわかりますよね。それから、企業名と住所は、国税庁が法人番号の関係で、法人の基本3情報のデータ公開しているので、それと照合すれば、どの項目が企業名か住所かはすぐにわかると思います。

また、Google の Cloud Natural Language API を使うと文章から、それがどういうカテゴリーに属するか分析してくれます。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/04/10 05:12

    ありがとうございます

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.61%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る