dockerで構築した環境内でseleniumを使いたいです

Question

前提・実現したいこと

現在私はwindows10、docker、ubuntu（キノコードさんの動画の見様見真似で環境構築をしているため詳しく理屈はわかりません）、jupyter lab上でpythonライブラリのseleniumを使おうと思っています。しかし以下のエラーが発生しており、学習が進まず困っています。

発生している問題・エラーメッセージ

Message: 'C:\Users\study\OneDrive\デスクトップ\docker.python\chromedriver_for_win.exe' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

該当のソースコード

from selenium import webdriver
import time 
import pandas as pd

browser = webdriver.Chrome(R"C:\Users\study\OneDrive\デスクトップ\docker.python\chromedriver_for_win.exe")　#カッコ内はパスです。

試したこと

まずchrome driverをdockerとCドライブの共有フォルダに入れました。

その後色々なサイトをあさり、「\」を「/」に変えたり、\を二つにしたり、raw文字列で読み取らせるためにpathの前にｒをつけたりとしましたが、どれもうまくいきません。ちなみにRをpathの前につけないとまずdecodeしてくれない様です。

補足情報（FW/ツールのバージョンなど）

anacondaで起動した方のjupyterlabはRとpathを通しただけで、seleniumが動作してくれます。しかしdockerで環境構築した方ではどうしてもうまくいきません。

dockerに関する記事もいくつか参照しましたが、もしかすると問題はdockerを立ち上げた時のdocker fileに問題があったのでしょうか？

FROM ubuntu:latest

RUN apt-get update && apt-get install -y sudo wget vim curl gawk make gcc

RUN wget https://repo.continuum.io/archive/Anaconda3-2019.03-Linux-x86_64.sh && \
    sh Anaconda3-2019.03-Linux-x86_64.sh -b  && \
    rm -f Anaconda3-2019.03-Linux-x86_64.sh && \
    sudo curl -sL https://deb.nodesource.com/setup_10.x | sudo bash -  && \
    sudo apt-get install -y nodejs

ENV PATH $PATH:/root/anaconda3/bin

RUN pip install --upgrade pip
RUN pip install pandas_datareader
RUN pip install mplfinance

RUN wget --quiet http://prdownloads.sourceforge.net/ta-lib/ta-lib-0.4.0-src.tar.gz -O ta-lib-0.4.0-src.tar.gz && \
    tar xvf ta-lib-0.4.0-src.tar.gz && \
    cd ta-lib/ && \
    ./configure --prefix=/usr && \
    make && \
    sudo make install && \
    cd .. && \
    pip install TA-Lib && \
    rm -R ta-lib ta-lib-0.4.0-src.tar.gz

RUN mkdir /workspace

CMD ["jupyter-lab", "--ip=0.0.0.0","--port=8888" ,"--no-browser", "--allow-root", "--LabApp.token=''"]

Answer 1

DockerコンテナにChromeがインストールされていない事が原因のようですね。

コンテナは、ざっくり説明すると環境を分離させるものです。
ここでは、Windows10のパソコンの中にLinuxの仮想的なパソコンが出来上がっているイメージです。

私の手元の環境では、

• Dockerfileを書き換える
• Pythonのコードを書き換える

で動きました。

Dockerfile

Chromeとwebdriverをインストールを追記。

FROM ubuntu:latest

RUN apt-get update && apt-get install -y sudo wget vim curl gawk make gcc

RUN wget https://repo.continuum.io/archive/Anaconda3-2019.03-Linux-x86_64.sh && \
    sh Anaconda3-2019.03-Linux-x86_64.sh -b  && \
    rm -f Anaconda3-2019.03-Linux-x86_64.sh && \
    sudo curl -sL https://deb.nodesource.com/setup_10.x | sudo bash -  && \
    sudo apt-get install -y nodejs

ENV PATH $PATH:/root/anaconda3/bin

RUN pip install --upgrade pip
RUN pip install pandas_datareader
RUN pip install mplfinance

RUN wget --quiet http://prdownloads.sourceforge.net/ta-lib/ta-lib-0.4.0-src.tar.gz -O ta-lib-0.4.0-src.tar.gz && \
    tar xvf ta-lib-0.4.0-src.tar.gz && \
    cd ta-lib/ && \
    ./configure --prefix=/usr && \
    make && \
    sudo make install && \
    cd .. && \
    pip install TA-Lib && \
    rm -R ta-lib ta-lib-0.4.0-src.tar.gz

RUN mkdir /workspace

CMD ["jupyter-lab", "--ip=0.0.0.0","--port=8888" ,"--no-browser", "--allow-root", "--LabApp.token=''"]

# https://stackoverflow.com/questions/58997430/how-to-install-chromium-in-docker-based-on-ubuntu-19-10-and-20-04
RUN curl -LO https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb && \
    env DEBIAN_FRONTEND=noninteractive apt-get install -y ./google-chrome-stable_current_amd64.deb && \
    rm google-chrome-stable_current_amd64.deb

# https://qiita.com/pyon_kiti_jp/items/0ba98f140142d4ac6b25
RUN cd /tmp/ && \
    apt-get install -y unzip && \
    curl -LO https://chromedriver.storage.googleapis.com/89.0.4389.23/chromedriver_linux64.zip && \
    unzip chromedriver_linux64.zip && \
    mv chromedriver /usr/local/bin/

Python

webdriverのオプション追加と動作確認。
webdriverのパスはDocerfileでPATHの通たところへ置いているので省略。

from selenium import webdriver
#import time 
#import pandas as pd

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument("--no-sandbox")
browser = webdriver.Chrome(options=options)

browser.get('http://google.com')                                                                                                                                              
print(browser.title)
browser.quit()  

04/06追記

Dockerfileを差分ではなく全量のせました。

Comments

[penuts_batapi]

ありがとうございます！早速載せてくれたdocker fileを追記して試してみます！
ちなみに同じ様な事が起こっている方はseleniumと似たHTMLの解析ライブラリであるBeautifulSoupを試してみてください！僕の環境はこっちなら使えました！

[penuts_batapi]

コメント失礼します。
dockerfileの追記部分を追加しましたが以下のエラーが出てしまい、イメージ作成が出来なかったみたいです。「executor failed running [/bin/sh -c curl -LO https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb && env DEBIAN_FRONTEND=noninteractive apt-get install -y ./google-chrome-stable_current_amd64.deb && rm google-chrome-stable_current_amd64.deb]: exit code: 100」
もしかすると僕のlinuxOSはubuntuなので、上記のDEBIANと記述されたdockerfileの文と何か関係があるのでしょうか？

[yskszk63]

回答へDockerfileを全量のせました。

エラーはどのようなものが出力されていたでしょうか？
Dockerのビルドも`FROM`で指定されたイメージでされるので、同じようにビルドできるはずなのですが。。
もし、全量試していただき、エラーが出るようでしたら、ビルドのオプションに`--no-cache `を付けてみてください。
`docker build --no-cache .`

ちなみに私の環境です。
```
$ cat /etc/os-release |grep -e^NAME=
NAME="Arch Linux"
$ docker --version
Docker version 20.10.5, build 55c4c88966
```

> 上記のDEBIANと記述
aptはDebian由来のコマンドなので、`DEBIAN_` プレフィックスがつく環境変数をみるのだと思います。

[yskszk63]

> `docker build --no-cache .`
--pull オプションを付けて、最新のubuntuイメージを持ってきた方が良いかもしれませんね。

docker build --no-cache --pull .

[penuts_batapi]

ありがたいです！早速試させていただきます！

[penuts_batapi]

ありがとうございます！問題なくgoogleがヘッドレスで開きました！