質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Kaggle

Kaggleは、機械学習モデルを構築するコンペティションのプラットフォームおよびその運営企業を指します。企業や政府といった組織とデータサイエンティスト・機械学習エンジニアを繋げるプラットフォームであり、単純なマッチングではなくコンペティションが特徴です。

多次元配列

1次元配列内にさらに配列を格納している配列を、多次元配列と呼びます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

1回答

1367閲覧

超多次元ベクトル(800次元以上)の相関表示の方法

dendenmushi

総合スコア98

Kaggle

Kaggleは、機械学習モデルを構築するコンペティションのプラットフォームおよびその運営企業を指します。企業や政府といった組織とデータサイエンティスト・機械学習エンジニアを繋げるプラットフォームであり、単純なマッチングではなくコンペティションが特徴です。

多次元配列

1次元配列内にさらに配列を格納している配列を、多次元配列と呼びます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2020/03/28 13:52

編集2020/03/28 13:54

前提・実現したいこと

前回の質問と似てはいますが、別の内容となるため再投稿です。
実現したいことは、以下方法で多次元のベクトル880次元となった場合、cosine_similarityなどで、相関表を作りたい。

年齢50以上貯蓄100万以上家族有無ペット要素要素要素要素要素要素要素
10101100100
01000000100
00000100000
10000000010
00000001001
01000001001
00010001001

ある人物がいろいろな要素をもっていて新しい人物がどんな回答をするかの予測をするかを推論したい。

該当のソースコードや方法

それぞれの人物のベクトルをリストに入れています。
|D|1|0|1|0|1|1|0|0|1|0|0|

vec_list

python

1[[1,0,1,0,1,1,0,0,1,0,0],[0,1,0,0,0,0,0,0,1,0,0],[],[]]

python

1array = np.round(cosine_similarity(vec_list, vecs_list,3)

相関表示を作り、以下のような表を作りたいです。
イメージ説明

問題点

880次元となった場合、cosine_similarityですと、相関性表がすべて1になってしまいます。
[[0,1,0,1,0,1,1,1,1,1,0,…880個],[1,1,1,1,0,0,0,1,0,…880個],…500個]

これらをvec_listに入れても以下のような結果になってしまいます。

イメージ説明

試した方法

cosine_similarityを使う前にデータを文字列から数値に変換する必要性があるのですが、そこであえて特徴量を増加させようと880倍してみたり、880で割るなどをしてみましたが、結果は同じでした。

python

1 import numpy as np 2 from sklearn.metrics.pairwise import cosine_similarity 3 from numpy import nan 4 import pandas as pd 5 import codecs 6 7 import csv 8 feature_list = [] 9 with open("feature_data.csv") as f: 10 for row in csv.reader(f): 11 feature_list.append(row) 12 13 cosine_list_parent = [] 14 cosine_list = [] 15 for f_list_ch in feature_list: 16 for f_list_ch_ch in f_list_ch: 17 cosine_list.append(int(f_list_ch_ch)*8800) 18 cosine_list_parent.append(cosine_list)

他に最適な方法があるなど何かアドバイス頂けないでしょうか。よろしくお願い致します。

補足情報(FW/ツールのバージョンなど)

win10
python3.7
Google Colab

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

次元削除を行えば一定量の微細な特徴量はなくなるデメリットはあるようですが、有用でした。

投稿2020/03/29 09:24

dendenmushi

総合スコア98

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問