質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Hadoop

Apache Hadoopは大規模なデータの分散処理をサポートするJavaソフトウェアフレームワークです。Hadoopを利用すると、数千ノードおよびペタバイト級のアプリケーションデータを処理することができます。

Q&A

解決済

2回答

3051閲覧

Hadoopのyarnのセキュリティ関連エラー

eof

総合スコア16

Hadoop

Apache Hadoopは大規模なデータの分散処理をサポートするJavaソフトウェアフレームワークです。Hadoopを利用すると、数千ノードおよびペタバイト級のアプリケーションデータを処理することができます。

0グッド

0クリップ

投稿2014/10/05 05:25

Hadoopでyarnを試しています。
以下のコマンドでyarnクライアントを実行した所、
エラーが発生します。
どのように対応したらよいでしょうか?

lang

1%yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.1.2.jar pi 3 100 214/09/10 17:28:07 WARN security.UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=EXECUTE, inode="/tmp":mapred:supergroup:drwxrwx---

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

Before you start:

The Kerberos principals for the ResourceManager and NodeManager are configured in the yarn-site.xml file. The same yarn-site.xml file must be installed on every host machine in the cluster.
Make sure that each user who runs YARN jobs exists on all cluster nodes (that is, on every node that hosts any YARN daemon).
To configure secure YARN:

Add the following properties to the yarn-site.xml file on every machine in the cluster:

<!-- ResourceManager security configs --> <property> <name>yarn.resourcemanager.keytab</name> <value>/etc/hadoop/conf/yarn.keytab</value> <!-- path to the YARN keytab --> </property> <property> <name>yarn.resourcemanager.principal</name>

<value>yarn/_HOST@YOUR-REALM.COM</value>
</property>

<!-- NodeManager security configs --> <property> <name>yarn.nodemanager.keytab</name> <value>/etc/hadoop/conf/yarn.keytab</value> <!-- path to the YARN keytab --> </property> <property> <name>yarn.nodemanager.principal</name>

<value>yarn/_HOST@YOUR-REALM.COM</value>
</property>

<property> <name>yarn.nodemanager.container-executor.class</name>

<value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
</property>

<property> <name>yarn.nodemanager.linux-container-executor.group</name> <value>yarn</value> </property> <!-- To enable TLS/SSL --> <property> <name>yarn.http.policy</name> <value>HTTPS_ONLY</value> </property> Add the following properties to the mapred-site.xml file on every machine in the cluster: <!-- MapReduce Job History Server security configs --> <property> <name>mapreduce.jobhistory.address</name> <value>host:port</value> <!-- Host and port of the MapReduce Job History Server; default port is 10020 --> </property> <property> <name>mapreduce.jobhistory.keytab</name> <value>/etc/hadoop/conf/mapred.keytab</value> <!-- path to the MAPRED keytab for the Job History Server --> </property> <property> <name>mapreduce.jobhistory.principal</name>

<value>mapred/_HOST@YOUR-REALM.COM</value>
</property>

<!-- To enable TLS/SSL --> <property> <name>mapreduce.jobhistory.http.policy</name> <value>HTTPS_ONLY</value> </property>

To get in-depth knowledge on Hadoop, you can enroll for live Hadoop online training by OnlineITGuru with 24/7 support and lifetime access

投稿2019/09/17 10:26

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

ベストアンサー

ディレクトリのアクセス権限の問題ですね。
以下のコマンドを実行すれば解決するはずです。

lang

1sudo -u hdfs hadoop fs -chmod -R 777 /tmp/hadoop-yarn

投稿2014/10/06 02:30

gcknwjw

総合スコア63

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問