dockerでrcloneを動かし、ホストにマウントしたフォルダでクラウド上のファイルを参照できるようにしたい。

Question

以下のようにdocker-composeとdockerfile、実行用のbashを記述しました。
この状態でdocker-compose up -dにてコンテナを起動させると、コンテナ上ではrcloneでマウントした各種クラウドストレージの中身が参照できるのですが、mountしてるはずのホストOS上では何も見えません。

ちなみに下記bash内での"mkdir -p /data/Dropbox/ /data/GoogleDrive/ /data/OneDrive/ /data/OneDrive/ /data/MEGA/"にて生成されたディレクトリ自体はホスト側からも見えます。rcloneでマウントしたクラウドストレージ上のファイルやディレクトリのみが見えません。

なにか間違っていますでしょうか？

#!/bin/ash
#Start Demon

mkdir -p /data/Dropbox/ /data/GoogleDrive/ /data/OneDrive/ /data/OneDrive/ /data/MEGA/

umount -f /data/Dropbox/
rclone mount dropbox: /data/Dropbox/ \
   --allow-other \
   --file-perms 777 --dir-perms 777 \
   --vfs-cache-mode full \
   --umask=0 \
   -vv &

umount -f /data/GoogleDrive/
rclone mount googledrive:/ /data/GoogleDrive/ \
   --allow-other \
   --file-perms 777 --dir-perms 777 \
   --vfs-cache-mode full \
   --umask=0 \
   -vv &

umount -f /data/MEGA/ ;
rclone mount mega:/ /data/MEGA/ \
   --allow-other \
   --file-perms 777 --dir-perms 777 \
   --vfs-cache-mode full \
   --umask=0 \
   -vv &

umount -f /data/OneDrive/
rclone mount onedrive:/ /data/OneDrive/ \
   --allow-other \
   --file-perms 777 --dir-perms 777 \
   --vfs-cache-mode full \
   --umask=0 \
   -vv

FROM rclone/rclone:latest

COPY ./start_rclone.sh /usr/local/bin

ENTRYPOINT [ "/bin/ash" ]
CMD [ "/usr/local/bin/start_rclone.sh" ]

version: "3.7"
services:
  rclone:
    build: 
      context: ./ctr/rclone
      dockerfile: ./dockerfile
    container_name: rclone
    environment: 
      TZ: Asia/Tokyo
    volumes: 
      - ./ctr/rclone/configdir/:/config/rclone/
      - /mnt/Cloud/user_name/:/data/:shared
      - /var/log/rclon/:/var/log/
      - /etc/passwd:/etc/passwd:ro
      - /etc/group:/etc/group:ro
    security_opt:
      - apparmor:unconfined
    cap_add:
      - SYS_ADMIN
    devices:
      - /dev/fuse
    logging:
      driver: json-file
      options:
        max-file: '1'
        max-size: 300k
    restart: unless-stopped

環境

ホストOS : Ubuntu 20.04 LTS
Docker version: 20.10.7, build 20.10.7-0ubuntu5~20.04.2
Docker Compose version: v2.2.3

Answer 1

Docker Composeのバージョンを2.2.3から1.25.0に下げることでマウントが正常にできるようになりました。1.29.2でも動作確認できました。2系の他のバージョンも試しましたが全部ダメでした。

Answer 2

マウントは「マウント元のファイルシステムやファイル・ディレクトリ」→「マウント先のファイル・ディレクトリ」にマッピングするものですので、方向があります。
「マウント元」はブロックデバイスだったり、ファイル・ディレクトリ(loopback, bind)だったり、ファイルサーバー(NFS, SMB など)だったりします。

今回の場合、マウントの方向が下記のようになので、クラウドストレージを Dockerホストで見ることはできないでしょう。
Dockerコンテナの /data/Dropbox/ 以下のファイル・ディレクトリを /data/ 以下にコピーすれば、Dockerホスト側でも見れると思います。

Host:/mnt/Cloud/user_name/ ==(bind)==> Container:/data/
                                       Container:/data/Dropbox/ <==(rclone)== Dropbox

また、以下のように Dockerコンテナの /data/Dropbox/ などを Dockerホスト側でマウントする経路を追加すればできるかもしれません。
Dockerでそのような仕組みがあるのか知りません。
別途、Dockerコンテナをファイルサーバーにする必要がありそうです。

Host:/mnt/Cloud/user_name/ ==(bind)==> Container:/data/
                                       Container:/data/Dropbox/ <==(rclone)== Dropbox
Host:/some_place/Dropbox/  <==( ? )=== Container:/data/Dropbox/

Comments

[chekke1999]

rcloneのマウントの処理は、bindの処理の後に動いてるはずなので、
Host:/mnt/Cloud/user_name/ ==(bind)==> Container:/data/
の向きでも問題ないと思います。

[TaichiYanagiya]

違います。
マウント先の kernel やプロセスからマウントポイントにアクセスする必要があります。

コンテナ内で /data/ にアクセスしたことを kernel が感知してホストの /mnt/Cloud/user_name/ にアクセスできます。
コンテナ内で /data/Dropbox/ にアクセスしたことを rclone が感知して Dropbox にアクセスすることができます。
しかし、ホストで /mnt/Cloud/user_name/Dropbox/ にアクセスしても、ホスト内にある(コンテナから作成された)ディレクトリにアクセスするだけで、コンテナ内の rclone は感知しません。

最後に追加した逆向きのマウントをした場合、ホストで /some_place/Dropbox/ にアクセスすると、コンテナ内のファイルサーバープロセスが /data/Dropbox/ にアクセス→rclone が感知して Dropbox にアクセスすることができるのでは？
ということです。

[chekke1999]

Docker Compose version: v2.2.3からdocker-compose version 1.25.0に落としたら何故かホスト側からも見えるようになったのですが、docker-composeのバージョンでdockerデーモンの動き変わったり、マウントの挙動が変わったりするんですかね...。ひとまず解決したので本質問closeしますが、なにかこの辺の仕様ご存知だったりしますか？

[chekke1999]

1.29.2でもいけました。やはり1系と2系で大幅に仕様が違うのか??

[TaichiYanagiya]

え、そうなのですか？
kernel が共通だから、というか、コンテナの隔離が不十分だから、ホスト側のアクセスがコンテナ側に伝わっているのかもしれません。

[chekke1999]

私のdockerのリファレンスのsharedのところの解釈が正しければ、多分1系の動作が正しいのだと思います。
https://matsuand.github.io/docs.docker.jp.onthefly/storage/bind-mounts/

docker-composeの2系はできたばかりなのでdockerの操作に色々不具合とか抱えてそうですね。英語苦手なのでdocker-compose公式のgithubのissueを直に読んだわけではないですが...

[TaichiYanagiya]

shared ってそういう挙動が正しいのですね。勉強になりました。