最近Apach Sparkの勉強を始めようとしています。
初めてのSparkという本を買いDownloadから始めているのですが早速エラーになってしまいました。
Windows環境でSparkのシェルを用いたサンプルコードを入れたのですがエラーの意味が全く分からず困っています。
>>> lines = sc.textFile("README.md") >>> lines.count() >>> lines.first()
というサンプルを実行したところ一行目以外
>>> lines.first() Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\pyspark\rdd.py", line 1328, in first rs = self.take(1) File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\pyspark\rdd.py", line 1280, in take totalParts = self.getNumPartitions() File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\pyspark\rdd.py", line 356, in getNumPartitions return self._jrdd.partitions().size() File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\lib\py4j-0.10.3-src.zip\py4j\java_gateway.py", line 1133, in __call__ File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\pyspark\sql\utils.py", line 63, in deco return f(*a, **kw) File "C:\Users\hilot.SEKINE\spark-2.0.2-bin-hadoop2.7\python\lib\py4j-0.10.3-src.zip\py4j\protocol.py", line 319, in get_return_value py4j.protocol.Py4JJavaError: An error occurred while calling o28.partitions. : org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/C:/Users/hilot.SEKINE/spark-2.0.2-bin-hadoop2.7/bin/README.md
というエラーが出てしまいます。
Python3とJava7がインストールされています。
よろしくお願いします。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。