###前提・実現したいこと
Apache Spark + Spring Bootでアプリケーションを構築しています。
Spring Bootだと標準でlogbackが入っているのでlogbackを使う設定を入れてましたが、
Sparkクラスタ上(stand aloneモード)で、spark-submitでアプリを実行してみると、
log周りの依存関係が問題なのか、実行エラーとなってしまいます。
Sparkは標準でlog4jを使うようになっているので、logbackをやめてlog4jを使うようにしたら、
依存関係は解決して実行できるようになりました。
そもそもApache Sparkでlogbackは使えるものなのか?
使えるとしたらどのような設定が必要なのかご教授ください。
###発生している問題・エラーメッセージ
pom.xmlで以下のように設定している場合(これは標準でlogbackも入っている)
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> </dependency>
spark-submitコマンドでアプリを実行してみると、以下エラーが発生
Exception in thread "main" java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing implementation (class org.slf4j.impl.Log4jLoggerFactory loaded from file:/opt/spark/spark-1.6.1-bin-hadoop2.6/lib/spark-assembly-1.6.1-hadoop2.6.0.jar). If you are using WebLogic you will need to add 'org.slf4j' to prefer-application-packages in WEB-INF/weblogic.xml Object of class [org.slf4j.impl.Log4jLoggerFactory] must be an instance of class ch.qos.logback.classic.LoggerContext
###補足情報(言語/FW/ツール等のバージョンなど)
Apache Spark 1.6.1
Spring Boot 1.4
Maven
Java8
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。