質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Spark

Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

Q&A

解決済

1回答

3158閲覧

Sparkの導入時のエラー

hilotoc

総合スコア30

Spark

Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

0グッド

0クリップ

投稿2016/12/11 04:45

最近Apach Sparkの勉強を始めようとしています。
初めてのSparkという本を買いDownloadから始めているのですが早速エラーになってしまいました。
Windows環境でSparkのシェルを用いたサンプルコードを入れたのですがエラーの意味が全く分からず困っています。

>>> lines = sc.textFile("README.md") >>> lines.count() >>> lines.first()

というサンプルを実行したところ一行目以外

>>> lines.first() Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\pyspark\rdd.py", line 1328, in first rs = self.take(1) File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\pyspark\rdd.py", line 1280, in take totalParts = self.getNumPartitions() File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\pyspark\rdd.py", line 356, in getNumPartitions return self._jrdd.partitions().size() File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\lib\py4j-0.10.3-src.zip\py4j\java_gateway.py", line 1133, in __call__ File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\pyspark\sql\utils.py", line 63, in deco return f(*a, **kw) File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\lib\py4j-0.10.3-src.zip\py4j\protocol.py", line 319, in get_return_value py4j.protocol.Py4JJavaError: An error occurred while calling o28.partitions. : org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/C:/Users/hilot.SEKINE/spark-2.0.2-bin-hadoop2.7/bin/README.md

というエラーが出てしまいます。
Python3とJava7がインストールされています。
よろしくお願いします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

パスが違いました!!!!

投稿2016/12/11 09:25

hilotoc

総合スコア30

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問