DockerComposeでのVolumesでディレクトリ作成したい

Question

dockercompose、DockerFileでのvolumesの記載について教えて頂きたいです。

[作成したいものの概要]
dockercomposeで2つのコンテナを用意し、
１つ目はデータ収集、２つ目はそのデータをJupytereで可視化などで収集したデータを使用したいです。

・データ収集コンテナ
データを取得→csvなどにしてvolumeに格納

・Jupytereコンテナ
volumesからデータ取得
という構造を考えています。

[行いたいこと]
収集したデータの格納先を、volumes配下のデータの種別で分けたディレクトリに振り分けたいです。
そのため、volumesの配下にディレクトリを作成したいです。

[できないこと]
DockerFileかdockercompose.ymlでvolumesの配下のディレクトリの作成ができないです。
dockercompose.ymlでは、ディレクトリの定義についての記載が見つけられませんでした。

データ収集コンテナのpythonのコードでのディレクトリ作成などを行えると思いますが、Dockerの設定ファイル内で構造の定義が行えればと思っています。

[状況]
DockerFileにRUN mkdirがない状態でコンテナ起動後、コンテナ内にdata_dirディレクトリはあることが確認できています。(WORKDIR /srcとしているので、srcとdata_dirは同じ階層にあります。)
DockerFileにRUN mkdirで、data_dir配下にディレクトリ作成を行うとエラーになり作成できませんでした。(下部にエラーメッセージを記載しています。)

恐らく実行順が、Dockerfile読み込み→コンテナ起動→volumeマウントで、DockerFileの記載が実行される時点ではマウント前なのでディレクトリが見つからないのかと思っています。

ローカルのファイル構造

test_fetch_data  
├docker_images
  ├fetch_data
    ├Dockerfile
    └requirements.txt
  └jupyter
    └Dockerfile
├fetch_data
  └volume_test.py
├workspace
  ├....
├docker-compose.yml

version: "3.9"
services:
  notebook:
    build: ./docker_images/jupyter
    ～～省略～～

  fetch_data:
    build: ./docker_images/fetch_data
    volumes:
      - data_volume:/data_dir
      - ./fetch_data:/src/
    tty: true

volumes:
  data_volume:
    name: data_volume

FROM python:3.7
ARG DEBIAN_FRONTEND=noninteractive

# パッケージの追加とタイムゾーンの設定
RUN apt-get update && apt-get install -y \
    tzdata \
&&  ln -sf /usr/share/zoneinfo/Asia/Tokyo /etc/localtime \
&&  apt-get clean \
&&  rm -rf /var/lib/apt/lists/*

ENV TZ=Asia/Tokyo
ENV DATA_DIR=/data_dir
ENV BOARD_DIR=/board

RUN apt-get update
RUN apt-get install -y ffmpeg
RUN apt-get install libsm6
RUN apt-get install libxext6

COPY ./requirements.txt ./
RUN pip install -r requirements.txt

RUN mkdir $DATA_DIR$BOARD_DIR

WORKDIR /src
CMD ["python", "-u", "volume_test.py"]

docker-compose up -d --buildでのエラーメッセージ抜粋

 => ERROR [test_fetch_data  9/10] RUN mkdir /data_dir/board                                                                      0.4s 
------
 > [test_fetch_data  9/10] RUN mkdir /data_dir/board:
#0 0.341 mkdir: cannot create directory ‘/data_dir/board’: No such file or directory
------
failed to solve: executor failed running [/bin/sh -c mkdir $DATA_DIR$BOARD_DIR]: exit code: 1

よろしくお願いいたします。

Answer 1

恐らく実行順が、Dockerfile読み込み→コンテナ起動→volumeマウントで、DockerFileの記載が実行される時点ではマウント前なのでディレクトリが見つからないのかと思っています。

その通りですね。
Dockerfileには一般的なことを記述するようにしてください。

回避方法として定番なのは、起動用のシェルスクリプト、/entrypoint.shを作成し、Dockerfileに、ENTRYPOINT ["/entrypoint.sh"]と記述することにより、起動するたびに、/entrypoint.shが実行されます。
その中で、ディレクトリの作成を行い、本来行いたいことを実行してください。実行権つけるのをわすれずにね。

#!/bin/sh
mkdir $DATA_DIR$BOARD_DIR

cd /src
python -u volume_test.py

Comments

[666_paru]

なるほど、シェルを用意するのですね。
教えて頂きありがとうございます。