Dockerのcompose upがうまくいかない。

Question

前提・実現したいこと

dockerのcompose upがうまくいかない

発生している問題・エラーメッセージ

Pythonのライブラリをinstallしたく、dockerfileを作成してみたのですが、
「: exit code: 100」というエラーが出て、
ERROR: Service 'notebook' failed to build : Build failed
と、先に進むことができません。

該当のソースコード

FROM continuumio/miniconda3:4.7.12
RUN apt update && \
    apt install build-essential -y && \
    conda install nodejs==6.11.2 -y && \
    conda install requests==2.25.0 tqdm==4.54.0 -y && \
    conda install pip==20.3 -y && \
    conda install pandas==1.0.5 numpy==1.19.2 scipy==1.5.2 matplotlib==3.3.2 seaborn==0.11.0 jupyter jupyterlab scikit-learn==0.23.2 xlrd==1.2.0 statsmodels==0.12.1 -y && \
    pip install setuptools-git==1.2 && \
    pip install cmdstanpy==0.4 && \
    conda install -c conda-forge fbprophet==0.6 -y && \
    pip install japanize-matplotlib==1.1.3 && \
    pip install pycaret==2.3.0 && \
    pip install interpret==0.2.2 && \
    pip install sweetviz==2.0.2 && \
    pip install openpyxl==3.0.5 && \
    pip install optuna==2.3.0 && \
    pip install streamlit== 0.74.1 && \
    pip install python-pptx==0.6.18 && \
    pip install explainerdashboard==0.3.1 && \
    pip install sktime==0.4.3 && \
    pip install tsfresh==0.17.0 && \
    pip install xgboost==1.3.3 && \
    pip install catboost==0.24.4 && \
    pip install geopy==2.1.0 && \
    apt-get update && \
    apt-get install graphviz -y && \
    conda install pydotplus==2.0.2 && \
    pip install beautifulsoup4==4.9.3 && \
    pip install streamlit-pandas-profiling==0.1.1 && \
    pip install orbit==1.0.17 && \
    pip install ginza ja-ginza ==5.0.0 &&\
    pip install ginza ja-ginza-electra ==5.0.0 &&\
    pip install gensim==4.1.0 && \
    pip install streamlit== 0.88.0 && \
    pip install kneed==0.7.0
RUN apt-get update && \
    apt-get install -y fonts-ipafont
RUN sed -i s/^#font.family:.*sans-serif/font.family\ :\ IPAPGothic/ /opt/conda/lib/python3.7/site-packages/matplotlib/mpl-data/matplotlibrc
EXPOSE 8888 8501 8050 8502 8503
WORKDIR /work

初心者であり、おそらくコーディングのミスだと思うのですが、解決方法を教えていただけると幸いです。

Comments

[comefigo]

出力結果をすべて添付されたほうが解決への近道かと思います。

[mtaro15]

早速のコメント、誠にありがとうございます。
おっしゃるとおり、すべて添付していないと解決難しいですね…大変失礼いたしました。
早速添付させていただきました！！

Answer 1

添付されたログだけではエラー原因を特定できなかったので、RUNコマンドを分割して少しずつエラー箇所を探っていきましょう。

一応下記のようにきれいにしてみました。
モジュールをすべてDockerfileに記載すると読みづらくなるので、conda.txtとpip.txtにそれぞれ分割しました。それによって管理もしやすくなり、可読性も高まります。
この二つのファイルを作成し、Dockerfileと同じディレクトリに配置してください。

FROM continuumio/miniconda3:4.7.12
RUN apt update -y --allow-releaseinfo-change
RUN apt install -y build-essential graphviz fonts-ipafont


COPY conda.txt /tmp/conda.txt
RUN conda install -y --file /tmp/conda.txt
RUN conda install -y -c conda-forge fbprophet==0.6

COPY pip.txt /tmp/pip.txt
RUN pip install -r /tmp/pip.txt

RUN sed -i s/^#font.family:.*sans-serif/font.family\ :\ IPAPGothic/ /opt/conda/lib/python3.7/site-packages/matplotlib/mpl-data/matplotlibrc
EXPOSE 8888 8501 8050 8502 8503
WORKDIR /work

conda.txt

scikit-learn==0.23.2
jupyterlab
jupyter
nodejs==6.11.2
requests==2.25.0
tqdm==4.54.0
pip==20.3
pandas==1.0.5
numpy==1.19.2
scipy==1.5.2
matplotlib==3.3.2
seaborn==0.11.0
xlrd==1.2.0
statsmodels==0.12.1
pydotplus==2.0.2

pip.txt

setuptools-git==1.2
cmdstanpy==0.4
japanize-matplotlib==1.1.3
pycaret==2.3.0
interpret==0.2.2
sweetviz==2.0.2
openpyxl==3.0.5
optuna==2.3.0
python-pptx==0.6.18
explainerdashboard==0.3.1
sktime==0.4.3
tsfresh==0.17.0
xgboost==1.3.3
catboost==0.24.4
geopy==2.1.0
beautifulsoup4==4.9.3
#streamlit== 0.74.1
streamlit== 0.88.0
streamlit-pandas-profiling==0.1.1
orbit==0.2
ginza
ja-ginza==5.0.0
ja-ginza-electra==5.0.0
gensim==4.1.0
kneed==0.7.0

分かった問題点としては

• apt update → apt update -y --allow-releaseinfo-change (修正済み)
• &&\ → && \ (修正済み)
• streamlitが 0.74.1と 0.88.0のどちらもインストールしようとしています
  未修正なのでどちらかを選択してください。とりあえずstreamlit== 0.74.1をコメントアウトした
• ginzaのバージョンによってja-ginzaとspacyのバージョンに依存関係が生じているので、解決が必要です。 (修正済み)

Comments

[mtaro15]

@comefigoさん
大変お忙しい中、ご丁寧にアドバイスいただきありがとうございます！！
私のこんな質問のために、わざわざ時間を割いて、作り変えて頂いて…今回初めてご質問させていただきましたが、世の中にはこんなにも優しい素敵な方がいらっしゃるものかと歓喜しております…。本当にありがとうございます！！頂いたコードで回してみたところ、ginzaの部分でエラーが出てしまいました。。。もし可能でしたら解決策をご教示いただきたいです。。。
「ginzaのバージョンによってja-ginzaとspacyのバージョンに依存関係が生じているので、解決が必要です。」ここのアドバイスに関わるものでしょうか…？

[mtaro15]

The conflict is caused by: The user requested ja-ginza==5.0.0 ginza 4.0.6 depends on ja_ginza<4.1.0 and >=4.0.0
To fix this you could try to: loosen the range of package versions you've specified remove package versions to allow pip attempt to solve the dependency conflict
ERROR: ResolutionImpossible: for help visit https://pip.pypa.io/en/latest/user_guide/#fixing-conflicting-dependencies

[comefigo]

そうですね。
上記のエラーメッセージはまさにそれですね。
なので、バージョンにこだわりがないのであれば、インストールできるバージョンになるように調整してあげてください。
また、依存バージョン無視するパラメータ(--no-deps)もありますので、そちらを活用するのもありです。
https://kurozumi.github.io/pip/user_guide.html#pinned-version-numbers
ただし、正常に動作しない可能性もあります。