今までeclipseにHadoopに関する必要なライブラリを追加してプログラムを実行していたのですが、
実行途中にある問題が起き、conf/mapred-site.xmlの変更をすることになりました。
設定を追加すれば直るはずだったのですが、うまくいきませんでした。
少し調べてみると、気になることがいくつか出てきました。
- eclipseは自分のセッティングしたmapred-site.xmlが反映されていないのではないか
- コンソール上でHadoopのNameNodeやDataNodeのデーモンを起動していないにも関わらず、wordcount等のサンプルプログラムは動いてしまう
おそらく、自分の問題点はコンソール上で直接コマンドを入力すれば解決するのだろうと思われます。
知りたいことは3点です
- EclipseでHadoopのプログラムを実行する際、どこのconfigファイル(hdfs-site.xmlやmapred-site.xml)を参照しているのか
- どこのconfigファイルに参照しているか確認できる方法はあるのか
- なぜ、コンソール上でデーモンが立ち上がっていないのにプログラムを実行できてしまうのか
宜しくお願い致します。
環境は以下の通りです。
- VMware Player 6
- Ubuntu 14.04 LTS Desktop japanese remix
- Hadoop 0.20.203.0
- Apache Giraph 1.1.0
- Eclipse4.4
ちなみに上述で直面した問題は
Exceeded limits on number of counters - Counters=120 Limit=120というエラーです。
今回の問題とはあまり関係がなさそうなので補足までです。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。