質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Spark

Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

Q&A

0回答

1670閲覧

Sparkでmapしたときの中身を見たい

utoka

総合スコア56

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Spark

Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

0グッド

1クリップ

投稿2017/05/01 21:22

ドキュメントを丸写しして,レコメンデーションを作りたいと考えています.
mapを行なったときにRDD is emptyというエラーが出たため,mapを行なったときの中身を確認したいと考え,どのようにしたら出力できるかお教えいただきたく,質問しました.
よろしくお願いいたします.
環境 apache-spark 2.1.0

python

1# data = sc.textFile("/usr/local/Cellar/apache-spark/2.1.0/libexec/data/mllib/als/test.data") 2lines = spark.read.text("/usr/local/Cellar/apache-spark/2.1.0/libexec/data/mllib/als/sample_movielens_ratings.txt").rdd 3#######ここは出る 4# print(lines.collect()) 5parts = lines.map(lambda row: row.value.split("::")) 6#######ここで中身を見たい 7# print(parts.collect()) #エラー Py4JJavaError Traceback (most recent call last)

データの読み込み自体はうまく行っています.
イメージ説明

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問