質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

91.02%

  • Ruby

    6369questions

    Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

  • Mecab

    120questions

    Mecabは、オープンソースの形態素解析エンジンです。 言語、辞書、コーパスに依存しない汎用的な設計を基本方針としています。 Mecabの由来は、開発者の好物である和布蕪(めかぶ)から名づけられました。

形態素解析の名詞の結果が似ている度合いを判別する理論もしくは実装と、その結果のカテゴリ分けをしたい

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 186

yanaka

score 7

前提・実現したいこと

形態素解析の名詞の結果が似ていることを自動で判断する理論か実装を知りたいです。
以下は[名詞, 名詞の出現回数]の結果の例です。
結果1
["ruby", 1]
["perl" 2]
["php" 5]
結果2
["ruby", 1]
["java" 2]
["php" 5]
結果3
["ruby", 1]
["perl" 5]
["php" 1]
これらを重み付けしてどれだけ似てるかの似てる度合いを表したいです
結果をperl観点で似てるかどうかは判断できますが、総合としての似てる度合いを表したいです。
要件定義がかなり曖昧ですが、似てるということを測定できる理論などの紹介であってもいいです。

あとは単語自体をカテゴリ分けしたいです。
例えば、ruby,perl,phpなどの単語が頻出すればcategory1、焼き鳥,餃子,寿司などの単語が頻出すればcategory2、などを自動でcategory生成と、さらにcategory振り分けをしたいです。
できればカテゴリの命名も自動でできると嬉しいです。これで言えば、category1はprograming languege、category2はfood、とか。
これらに関しては参考にする理論の名称が全く思い当たりません。手探りで実装すればいいのかもしれませんが、頻出名詞からの自動のカテゴリ生成とその振り分けのアルゴリズムというか理論があれば幸いです。

試したこと

形態素解析、機械学習、ディープラーニング、機械学習に必要な数学、統計調査、などを検索して今回やりたいことに解決する方法を探りました。
rubyでngramの実装はしました。

補足情報(言語/FW/ツール等のバージョンなど)

ruby
mecab
pythonやRのライブラリなどでも歓迎です

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

Word2Vecという手法が、やりたいことに近そうに見えます。

まずはこのへんの解説記事から入ってみてください。
https://deepage.net/bigdata/machine_learning/2016/09/02/word2vec_power_of_word_vector.html

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/09/19 12:03

    昨日質問投げた後に検索かけ続けてfasttextを見つけてまだリサーチ中なんですが、その関連でこのword2vecもあったので多分これが正解みたいですね
    回答ありがとうございます!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 91.02%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    Rails 無限階層カテゴリの実装

    新規でアイテムを登録しました。 item tableのカラム名:category_idには category table カラム名:category_id 13(パンツ)が入って

  • 解決済

    コメントの書き方について

    就職作品用のソースコードのコメントを書く際に、requireって日本語でなんて書くといいんでしょうか・・・ 長らくC++に触れていたため、「ヘッダーのインクルード」って書いてたんで

  • 解決済

    サーバーサイド言語でどれを学んだほうがいいでしょうか?

    Javaは大きなwebシステムを作るときに扱おうと思っていて学習中です。 なので、あと一つ、webアプリケーションや、webサイトなど、を作る会社に就職するときに 就職しやすくな

  • 解決済

    Railsでのリレーションしたモデルの値の表示

    前提・実現したいこと railsで簡単なブログ機能を作っており、 記事のPostモデルとカテゴリのCategoryモデルをリレーションを使って関連付けています。 view

  • 解決済

    【Ruby on Rails】ブログサイトでカテゴリのパスができません。

     前提・実現したいこと Ruby(Ruby on Rails)でブログサイトを作っています。  記事の上にカテゴリを設定したのですが、カテゴリのパスがビュー上で上手く機能せず、

  • 受付中

    Railsの関連付けに関してお聞きしたいです!

    プログラミング初心者です。現在Ruby on Railsでサービスを作ろうとしています。 その中でカテゴリーの階層を例えば 掃除 → 玄関 → 玄関掃除の仕方 サービス → テ

  • 受付中

    rubyのjsonでphpに渡す

    rubyの勉強中です。phpのshel_excecでrubyにデータを送り、処理した後にOk,Ng判定をphpにjsonで返す都いうことをしたのですが、実行結果のjsonではOKの

  • 受付中

    RailsのModelに木構造の条件付きhas_manyを設定する方法

    RailsのModelに木構造の条件付きhas_manyを設定するにはどうすればいいのでしょうか? カテゴリーモデルとプロダクトモデルがあります。 class Catego

同じタグがついた質問を見る

  • Ruby

    6369questions

    Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

  • Mecab

    120questions

    Mecabは、オープンソースの形態素解析エンジンです。 言語、辞書、コーパスに依存しない汎用的な設計を基本方針としています。 Mecabの由来は、開発者の好物である和布蕪(めかぶ)から名づけられました。

  • トップ
  • Rubyに関する質問
  • 形態素解析の名詞の結果が似ている度合いを判別する理論もしくは実装と、その結果のカテゴリ分けをしたい