Apache Spark MLlib (Scala) による主成分分析
- 評価
- クリップ 0
- VIEW 1,583
Apache Spark MLlib (Scala)に関して質問させて下さい。
質問
Spark MLlibで主成分分析をしたいのですが、RDD[(String, String, Double)]をRowMatrixに変換するにはどうすれば良いでしょうか？
下記の、データ変換のイメージをご参照いただき、そもそもやりたいことに対して、アプローチが正しいかどうかについてもアドバイスを頂けると幸いです。
アプローチとは、RDD[(String, String, Double)]の次元削減をするために、RowMatrixに変換してcomputePrincipalComponentsすることを指しています。
質問の背景としては、言語処理100本ノック 85. 主成分分析による次元圧縮 にてハマり中です。。。
データ変換のイメージ
変換前データ
(composition,studies,1.791759469228055)
(coaching,tenure,3.6375861597263857)
(college,ranked,1.0986122886681098)
(created,Media,1.0986122886681098)
(ca,ca,6.173786103901937)
(Chief,served,2.3978952727983707)
(calculate,To,3.9889840465642745)
(childbirth,after,2.70805020110221)
(congested,most,3.1354942159291497)
(competition,amateur,2.833213344056216)
(contiguous,United_States,3.6375861597263857)
(contains,photographs,2.1972245773362196)
(Christians,Protestant,4.330733340286331)
(以下略)変換後データ
主成分分析で次元削減するには、変換前データを下記のような疎行列に変換する必要があるという認識です。
| studies | tenure | ranked | (以下略) | |
|---|---|---|---|---|
| composition | 1.791759469228055 | 0 | 0 | |
| coaching | 0 | 3.6375861597263857 | 0 | |
| college | 0 | 0 | 1.0986122886681098 | |
| (以下略) |
バージョン情報
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"
libraryDependencies += "org.apache.spark" % "spark-mllib_2.11" % "1.6.1"-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
check解決した方法
+1
次元のラベルは捨ててしまって良いことに気づき、自己解決しました。
def reduceDimension(rdd: RDD[((String, String), Double)]): Map[String, Array[Double]] = {
// 疎行列化
val contextMap = rdd.collect.toMap
val words = rdd.keys.map(_._1).distinct
val contexts = rdd.keys.map(_._2).distinct.collect
val contextMatrix: RDD[Vector] = words.map(w => Vectors.dense(contexts.map(c => contextMap.getOrElse((w, c), 0.0)).slice(0, word_count)))
// RowMatrix型に変換
val rowMatrix = new RowMatrix(contextMatrix)
// PCA実行
val pcMatrix = rowMatrix.computePrincipalComponents(300)
// 以下略投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 88.36%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる