dockercompose、DockerFileでのvolumesの記載について教えて頂きたいです。
[作成したいものの概要]
dockercomposeで2つのコンテナを用意し、
1つ目はデータ収集、2つ目はそのデータをJupytereで可視化などで収集したデータを使用したいです。
・データ収集コンテナ
データを取得→csvなどにしてvolumeに格納
・Jupytereコンテナ
volumesからデータ取得
という構造を考えています。
[行いたいこと]
収集したデータの格納先を、volumes配下のデータの種別で分けたディレクトリに振り分けたいです。
そのため、volumesの配下にディレクトリを作成したいです。
[できないこと]
DockerFileかdockercompose.ymlでvolumesの配下のディレクトリの作成ができないです。
dockercompose.ymlでは、ディレクトリの定義についての記載が見つけられませんでした。
データ収集コンテナのpythonのコードでのディレクトリ作成などを行えると思いますが、Dockerの設定ファイル内で構造の定義が行えればと思っています。
[状況]
DockerFileにRUN mkdirがない状態でコンテナ起動後、コンテナ内にdata_dirディレクトリはあることが確認できています。(WORKDIR /srcとしているので、srcとdata_dirは同じ階層にあります。)
DockerFileにRUN mkdirで、data_dir配下にディレクトリ作成を行うとエラーになり作成できませんでした。(下部にエラーメッセージを記載しています。)
恐らく実行順が、Dockerfile読み込み→コンテナ起動→volumeマウントで、DockerFileの記載が実行される時点ではマウント前なのでディレクトリが見つからないのかと思っています。
ローカルのファイル構造
test_fetch_data ├docker_images ├fetch_data ├Dockerfile └requirements.txt └jupyter └Dockerfile ├fetch_data └volume_test.py ├workspace ├.... ├docker-compose.yml
dockercompose
version: "3.9" services: notebook: build: ./docker_images/jupyter ~~省略~~ fetch_data: build: ./docker_images/fetch_data volumes: - data_volume:/data_dir - ./fetch_data:/src/ tty: true volumes: data_volume: name: data_volume
docker_images/fetch_data/DockerFile
FROM python:3.7 ARG DEBIAN_FRONTEND=noninteractive # パッケージの追加とタイムゾーンの設定 RUN apt-get update && apt-get install -y \ tzdata \ && ln -sf /usr/share/zoneinfo/Asia/Tokyo /etc/localtime \ && apt-get clean \ && rm -rf /var/lib/apt/lists/* ENV TZ=Asia/Tokyo ENV DATA_DIR=/data_dir ENV BOARD_DIR=/board RUN apt-get update RUN apt-get install -y ffmpeg RUN apt-get install libsm6 RUN apt-get install libxext6 COPY ./requirements.txt ./ RUN pip install -r requirements.txt RUN mkdir $DATA_DIR$BOARD_DIR WORKDIR /src CMD ["python", "-u", "volume_test.py"]
docker-compose up -d --buildでのエラーメッセージ抜粋
=> ERROR [test_fetch_data 9/10] RUN mkdir /data_dir/board 0.4s ------ > [test_fetch_data 9/10] RUN mkdir /data_dir/board: #0 0.341 mkdir: cannot create directory ‘/data_dir/board’: No such file or directory ------ failed to solve: executor failed running [/bin/sh -c mkdir $DATA_DIR$BOARD_DIR]: exit code: 1
よろしくお願いいたします。
まだ回答がついていません
会員登録して回答してみよう