質問編集履歴
3
書式改善
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,7 +1,8 @@
|
|
|
1
|
-
Hadoopが正しく動作
|
|
1
|
+
Hadoopを勉強中でHadoopストリーミングをテストするためrubyで書いたmapperとreducerが正しく動作するかコマンドラインからMapReduceを実行してみました。
|
|
2
|
+
しかし、mapper.rbがないと下記のようにエラーが表示されて正しくジョブが実行されません。
|
|
2
3
|
```
|
|
3
4
|
dir/usercache/Kuma/appcache/application_1469093819516_0005/container_1469093819516_0005_01_000002/./mapper.rb": error=2, No such file or directory
|
|
4
|
-
```
|
|
5
|
+
```
|
|
5
6
|
|
|
6
7
|
実行したコマンド
|
|
7
8
|
|
2
wordcount実行済みについて追記
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -8,7 +8,9 @@
|
|
|
8
8
|
```
|
|
9
9
|
hadoop jar hadoop-streaming-2.7.2.jar -files mapper.rb,reducer.rb -mapper mapper.rb -reducer reducer.rb -input test.json -output test
|
|
10
10
|
```
|
|
11
|
-
mapper.rb、reducer.rbともにコマンドを実行したカレントディレクトリに存在するファイルです。Hadoop初心者でどこに問題があるかわかりません。
|
|
11
|
+
mapper.rb、reducer.rbともにコマンドを実行したカレントディレクトリに存在するファイルです。Hadoop初心者でどこに問題があるかわかりません。
|
|
12
|
+
テスト用のMapReduceであるwordcountでは正しく実行され、エラーなく結果が出力されていたのでHadoop本体の設定は問題無いと思います。
|
|
13
|
+
アドバイスよろしくお願いします。
|
|
12
14
|
|
|
13
15
|
|
|
14
16
|
環境
|
1
Hadoopの起動モードについて追記
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -13,8 +13,9 @@
|
|
|
13
13
|
|
|
14
14
|
環境
|
|
15
15
|
Mac EI Capitan
|
|
16
|
-
Hadoop 2.7.2
|
|
16
|
+
Hadoop 2.7.2（擬似分散モード）
|
|
17
17
|
|
|
18
|
+
|
|
18
19
|
jobのエラー全文です。
|
|
19
20
|
```ここに言語を入力
|
|
20
21
|
16/07/21 19:22:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
|