Dockerでgemのインストールができない

前提・実現したいこと

DOckerを使用してRailsのアプリケーションを作成しています。
gem.fileにrefileを入れたいのですが、Docker-compose upを実行するとエラーが出てしまい解決策がわかりませんでした。
gemに github:△△　が書かれているものは全て同様のエラーが出現します。

発生している問題・エラーメッセージ

 The git source https://github.com/manfe/refile.git is not yet checked out. Please run `bundle install` before trying to start your application

該当のソースコード

gem.file

〜　省略　〜

gem 'refile', require: 'refile/rails', github: 'manfe/refile'

Docker.file

FROM ruby:2.6.3

RUN curl -sL https://deb.nodesource.com/setup_10.x | bash - && apt-get update && \
    apt-get install -y nodejs --no-install-recommends && rm -rf /var/lib/apt/lists/*

RUN apt-get update -qq && apt-get install -y build-essential libpq-dev

RUN apt-get update && apt-get install -y curl apt-transport-https wget && \
curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - && \
echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list && \
apt-get update && apt-get install -y yarn

RUN curl -sL https://deb.nodesource.com/setup_8.x | bash - && \
    apt-get install nodejs

RUN yarn add node-sass

RUN mkdir /app
WORKDIR /app
COPY Gemfile /app/Gemfile
COPY Gemfile.lock /app/Gemfile.lock
RUN bundle install
COPY . /app