質問編集履歴

3

書式改善

2016/07/21 14:38

投稿

kuma3
kuma3

スコア60

test CHANGED
File without changes
test CHANGED
@@ -1,10 +1,12 @@
1
- Hadoopが正しく動作しているかテストするためコマンドラインからhadoopコマンドでMapReduceを実行してみました
1
+ Hadoopを勉強中でHadoopストリーミングをテストするためrubyで書いたmapperとreducerが正しく動作るかコマンドラインからMapReduceを実行してみました
2
+
3
+ しかし、mapper.rbがないと下記のようにエラーが表示されて正しくジョブが実行されません。
2
4
 
3
5
  ```
4
6
 
5
7
  dir/usercache/Kuma/appcache/application_1469093819516_0005/container_1469093819516_0005_01_000002/./mapper.rb": error=2, No such file or directory
6
8
 
7
- ```とmapper.rbファイルがないとエラーが表示されてしまいます。
9
+ ```
8
10
 
9
11
 
10
12
 

2

wordcount実行済みについて追記

2016/07/21 14:38

投稿

kuma3
kuma3

スコア60

test CHANGED
File without changes
test CHANGED
@@ -18,7 +18,11 @@
18
18
 
19
19
  ```
20
20
 
21
- mapper.rb、reducer.rbともにコマンドを実行したカレントディレクトリに存在するファイルです。Hadoop初心者でどこに問題があるかわかりません。アドバイスよろしくお願いします。
21
+ mapper.rb、reducer.rbともにコマンドを実行したカレントディレクトリに存在するファイルです。Hadoop初心者でどこに問題があるかわかりません。
22
+
23
+ テスト用のMapReduceであるwordcountでは正しく実行され、エラーなく結果が出力されていたのでHadoop本体の設定は問題無いと思います。
24
+
25
+ アドバイスよろしくお願いします。
22
26
 
23
27
 
24
28
 

1

Hadoopの起動モードについて追記

2016/07/21 14:28

投稿

kuma3
kuma3

スコア60

test CHANGED
File without changes
test CHANGED
@@ -28,7 +28,9 @@
28
28
 
29
29
  Mac EI Capitan
30
30
 
31
- Hadoop 2.7.2
31
+ Hadoop 2.7.2(擬似分散モード)
32
+
33
+
32
34
 
33
35
 
34
36