AWS EC2でhttp://localhost:9000が通らない

Question

すいません。なにかおわかりの方がいらっしゃいましたら教えて下さい。
以下のチュートリアルに従ってhadoopをAWSで構築しようとしています。

hadoopチュートリアル

一応、Pseudo-Distributed Operationのところまでは動作し、
次に YARN on a Single Nodeのところで以下のようなエラーが出ています。

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar grep input output 'dfs[a-z.]+'
17/07/15 07:31:03 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:03 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:03 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:03 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:03 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:03 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:03 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:03 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:04 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:04 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:04 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:04 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:04 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:04 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:04 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:04 WARN conf.Configuration: bad conf file: element not <property>
17/07/15 07:31:04 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
17/07/15 07:31:04 WARN ipc.Client: Failed to connect to server: localhost/127.0.0.1:9000: try once and fail.
java.net.ConnectException: 接続を拒否されました

切り分けのためにCURLでアクセスしましたが拒否されました。

$ curl http://localhost:9000
curl: (7) Failed to connect to localhost port 9000: 接続を拒否されました

YARNエラーの詳細

AWSのセキュリティ設定で外部からのSSHを特定のIPのみに許可しているのも何か関係するのかと思い、
内部LANのTCP(http):9000を追加しましたが変化はありませんでした。

ポートの開放が問題なのか？何なのか分からなくなってしまいました。。

Answer 1

EC2インスタンスからlocalhost（または127.0.0.1）に接続する場合はセキュリティグループは全く関係ありません。

以下のコマンドでポート9000番でLISTENしているか確認してみてください。

ポートがLISTEN状態か確認する
$ netstat -anp | grep :9000

ポート9000がどのプロセスで使っているか確認する
$ sudo lsof -i:9000

Comments

[ko.izawa]

コメントありがとうございます!
試してみましたが手がかりとなる情報が得られなかったようです。

$ sbin/start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /home/ec2-user/hadoop/logs/yarn-ec2-user-resourcemanager-ip-172-31-1-55.out
localhost: starting nodemanager, logging to /home/ec2-user/hadoop/logs/yarn-ec2-user-nodemanager-ip-172-31-1-55.out
$ netstat -anp | grep :9000
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
$ sudo lsof -i:9000
$

記載が遅れましたがOSはamazon linuxです。
他に何かお気付きの点がありましたらお願いします。

[moonphase]

netstat -anp | grep :9000のほうもsudoを付けて
sudo netstat -anp | grep :9000
でお願いします（たぶん何も出力されないと思いますが）

とりあえずは、127.0.0.1:9000 でLISTENされていないようです。

それまでの手順で各ログファイルを確認し、エラーが出ていないか確認できますか？

[ko.izawa]

ありがとうございます。
ひとまず、設定的なところを見直しましたが分からず、ローカルのVMでCentOS7のGUIありで
やってみましたが上手く動きました。手順はあってそうですね。（当たり前か。。）
明日にでも仕切り直してみますが取り急ぎの報告です。