質問編集履歴
3
書式改善
test
CHANGED
File without changes
|
test
CHANGED
@@ -1,10 +1,12 @@
|
|
1
|
-
Hadoopが正しく動作
|
1
|
+
Hadoopを勉強中でHadoopストリーミングをテストするためrubyで書いたmapperとreducerが正しく動作するかコマンドラインからMapReduceを実行してみました。
|
2
|
+
|
3
|
+
しかし、mapper.rbがないと下記のようにエラーが表示されて正しくジョブが実行されません。
|
2
4
|
|
3
5
|
```
|
4
6
|
|
5
7
|
dir/usercache/Kuma/appcache/application_1469093819516_0005/container_1469093819516_0005_01_000002/./mapper.rb": error=2, No such file or directory
|
6
8
|
|
7
|
-
```
|
9
|
+
```
|
8
10
|
|
9
11
|
|
10
12
|
|
2
wordcount実行済みについて追記
test
CHANGED
File without changes
|
test
CHANGED
@@ -18,7 +18,11 @@
|
|
18
18
|
|
19
19
|
```
|
20
20
|
|
21
|
-
mapper.rb、reducer.rbともにコマンドを実行したカレントディレクトリに存在するファイルです。Hadoop初心者でどこに問題があるかわかりません。
|
21
|
+
mapper.rb、reducer.rbともにコマンドを実行したカレントディレクトリに存在するファイルです。Hadoop初心者でどこに問題があるかわかりません。
|
22
|
+
|
23
|
+
テスト用のMapReduceであるwordcountでは正しく実行され、エラーなく結果が出力されていたのでHadoop本体の設定は問題無いと思います。
|
24
|
+
|
25
|
+
アドバイスよろしくお願いします。
|
22
26
|
|
23
27
|
|
24
28
|
|
1
Hadoopの起動モードについて追記
test
CHANGED
File without changes
|
test
CHANGED
@@ -28,7 +28,9 @@
|
|
28
28
|
|
29
29
|
Mac EI Capitan
|
30
30
|
|
31
|
-
Hadoop 2.7.2
|
31
|
+
Hadoop 2.7.2(擬似分散モード)
|
32
|
+
|
33
|
+
|
32
34
|
|
33
35
|
|
34
36
|
|