Q&A
docker初心者です。
Apatch Spark を AWS Fargateで動かせるようにしたいと思い
て初めてにDockerにApatchSparkをインストールしてDocker上でPysparkスクリプトを実行できるように指定と思っています。
https://medium.com/acast-tech/running-apache-spark-on-aws-81a5f766d3a6 を元に
以下のDockerファイルを作成し、docker build -t イメージ名 . で実行したところ
FROM alpine:3.10 ARG SPARK_VERSION=3.0.0 ARG HADOOP_VERSION_SHORT=3.2 ARG HADOOP_VERSION=3.2.0 ARG AWS_SDK_VERSION=1.11.375 RUN apk add --no-cache bash openjdk8-jre python3 # Download and extract Spark RUN wget -qO- https://www-eu.apache.org/dist/spark/spark-${SPARK_VERSION}/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION_SHORT}.tgz | tar zx -C /opt && \ mv /opt/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION_SHORT} /opt/spark # Configure Spark to respect IAM role given to container RUN echo spark.hadoop.fs.s3a.aws.credentials.provider=com.amazonaws.auth.EC2ContainerCredentialsProviderWrapper > /opt/spark/conf/spark-defaults.conf # Add hadoop-aws and aws-sdk RUN wget https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/${HADOOP_VERSION}/hadoop-aws-${HADOOP_VERSION}.jar -P /opt/spark/jars/ && \ wget https://repo1.maven.org/maven2/com/amazonaws/aws-java-sdk-bundle/${AWS_SDK_VERSION}/aws-java-sdk-bundle-${AWS_SDK_VERSION}.jar -P /opt/spark/jars/ ENV PATH="/opt/spark/bin:${PATH}" ENV PYSPARK_PYTHON=python3 COPY Pysparkスクリプト名.py / # Setting proper hostname before running spark, see https://stackoverflow.com/a/55652399/7098262 ENTRYPOINT ["/bin/sh", "-c", "echo 127.0.0.1 $HOSTNAME >> /etc/hosts; spark-submit Pysparkスクリプト名.py"]
Step 7/13 : RUN wget -qO- https://www-eu.apache.org/dist/spark/spark-${SPARK_VERSION}/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION_SHORT}.tgz | tar zx -C /opt && mv /opt/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION_SHORT} /opt/spark
---> Running in 59ceb10d311d
でフリーズしてしまいました。
■環境
Windows10 Pro
Docker 2.3.0.3
起動中のコンテナにVisual Studio CodeをAtatchしたところ、/opt/spark フォルダが作成されていないので、実際に
「Step 7/13」 が終了していない模様なのですが、フリーズの原因は何でしょうか？
以上よろしくお願いいたします。
※追記
1時間ほど経過した時点で
Step 7/13 : RUN wget -qO- https://www-eu.apache.org/dist/spark/spark-${SPARK_VERSION}/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION_SHORT}.tgz | tar zx -C /opt && mv /opt/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION_SHORT} /opt/spark ---> Running in 59ceb10d311d The command '/bin/sh -c wget -qO- https://www-eu.apache.org/dist/spark/spark-${SPARK_VERSION}/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION_SHORT}.tgz | tar zx -C /opt && mv /opt/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION_SHORT} /opt/spark' returned a non-zero code: 137
というメッセージが出力されました。
non-zero code: 137
について調べてみます
あなたの回答
tips
プレビュー
