docker buildコマンドの実行完了までの所要時間を短縮/省略/効率化したい

Question

##質問
例えばキャッシュのように、一度実行したdocker buildでダウンロードした完全に同一のインストール用パッケージを2回目以降のbuildで再度ダウンロードしなくてもよいようにしてbuildコマンドの実行完了までの所要時間を短縮/省略/効率化など、できたりしないでしょうか？

実践的なノウハウなど、アドバイスいただけると誠にありがたく存じます。ご不明な点などございましたら、適宜追記してまいりますので、どうぞよろしくお願い申し上げます。

##背景
現在、以下のDockerfileをコマンドプロンプト上のdocker buildコマンドでイメージ作成しているのですが、コンテナの環境を整備するために多くのapt-get installをしているため、build実行完了まで30分～1時間など非常に時間がかかります。また、開発に使うPCのネットワーク環境も遅めでダウンロード速度も低調です。

FROM ubuntu:20.04
RUN apt-get update -y
RUN apt-get install -y tzdata
RUN apt-get upgrade -y
# RUN apt-get install -y vim
RUN apt-get install -y python3 python3-pip
RUN apt-get install -y chromium-browser
RUN apt-get install -y chromium-chromedriver
RUN apt-get install -y python3-selenium

##環境
Windows 10
Docker Desktop v2.3.0.4(46911)
Docker Engine v19.03.12

Comments

[退会済みユーザー]

Docker Registryを自前で用意して、
https://github.com/google/go-containerregistry/blob/master/cmd/crane/
上記コマンドを使うと、途中の差分イメージを入れ替える事ができます。よく分からないで使うとぶっ壊れますけど...ご参考までに。数年前にお試しで使ったことありますが、今は使ってません。

[fukazume]

情報を共有いただき、ありがとうございます！ぜひとも参考にさせていただきます！

Answer 1

ビルド時間を短縮させる方法はいくつもあります。

・HDDからSSDに変更する（効果絶大！）
・キャッシュを有効的に活用されるようにDockerfileを記述する。
https://qiita.com/pottava/items/452bf80e334bc1fee69a
・buildkitを使う。
https://www.slideshare.net/AkihiroSuda/buildkit
・場合によってはマルチビルドステージングの活用
同一Dockerfile内でソースをビルドしてからアプリの動作環境を構築している場合に有用。しかも、イメージサイズが小さくなるし、セキュアにもなる。

ここに上記のものすべて説明されています。
https://tech.plaid.co.jp/improve_docker_build_efficiency/#dockerfile--1

上記のDockerfileを以下のようにRUNのコマンドを連結させることでイメージレイヤを少なくすることも効率化の手法になります。そうすることで下記のapt-get一連のコマンドに変更がなければ、そのイメージレイヤがキャッシュとして再利用されます。

FROM ubuntu:20.04

RUN apt-get update -y && \
    apt-get upgrade -y && \
    apt-get install -y tzdata python3 python3-pip chromium-browser chromium-chromedriver python3-selenium

Comments

[fukazume]

多角的な観点からリンクをご紹介くださり、ありがとうございます！「RUNのコマンドを連結させる方法」なども存じ上げませんでした。早速実践させていただきました！深く感謝申し上げます！

[comefigo]

Dockerfileビルドではイメージレイヤの理解は欠かさないので、こちらの記事がおすすめです。
https://qiita.com/zembutsu/items/24558f9d0d254e33088f

また、上記のようにRUNをまとめることでイメージサイズの縮小につなげることもできます。
私の記事で恐縮ですが、ご参考になれば。
https://qiita.com/comefigo/items/1867ca61627072b704f1

Answer 2

例えばキャッシュのように

まず頻繁に今のベースイメージ（ubuntu:20.04）からビルドしなおしているのであれば、ほぼ変更が無いようなところまでを先に別のイメージとして作ってしまい、そちらをベースイメージにすればいいんじゃないの？と思いますが。

一度その中間イメージを作成してしまえば、ローカルにはキャッシュされてるし、複数のPCで使う場合もDocker Hubにアップロードしておけばそのイメージのダウンロードだけで済むんで。

実践的なノウハウなど、アドバイスいただけると誠にありがたく存じます。

質問の範囲が広すぎると思うので、とりあえず

Docker development best practices
Best practices for writing Dockerfiles

あたりを読んでください。

Comments

[fukazume]

中間イメージと言う概念を存じ上げませんでした。参考にさせていただきます！ありがとうございました！