ECRからのTA-Lib実行時、"libta_lib.so.0: cannot open shared object file: No such file or directory" を解消したい

Question

ECRコンテナイメージを利用したLambda関数にて、TA-Libを用いることを試みています。
Dockerでのビルドまでは上手く行くのですが、その後、関数実行時に、"libta_lib.so.0: cannot open shared object file: No such file or directory" とエラーが発生してしまいます。

これの解消方法をいろいろと試し、現在、下記のようなDockerfile、docker-compose.ymlの構成となっていますが、一向に解決しません。
知見をお持ちの方、ぜひ解決方法をご教示願えませんでしょうか。

• Dockerfile

FROM public.ecr.aws/lambda/python:3.8
ENV AWS_DEFAULT_REGION ap-northeast-1

RUN pip3 install --upgrade pip
RUN yum update -y
RUN yum groupinstall "Development Tools" -y
RUN yum -y install wget
RUN yum -y install tar
RUN yum -y install gzip

RUN export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH

RUN wget --quiet http://prdownloads.sourceforge.net/ta-lib/ta-lib-0.4.0-src.tar.gz -O ta-lib-0.4.0-src.tar.gz && \
    tar -zxvf ta-lib-0.4.0-src.tar.gz && \
    cd ta-lib/ && \
    ./configure --prefix=/usr && \
    make && \
    make install && \
    cd .. && \
    python3 -m pip install ta-lib && \
    rm -R ta-lib ta-lib-0.4.0-src.tar.gz

RUN pip install pipenv
WORKDIR /workspace
CMD pipenv install && \
    pipenv run dev

RUN pip3 install -t ./ Image

ADD . .

COPY handler.py ${LAMBDA_TASK_ROOT}

RUN pip3 install -r requirements.txt -t /var/task && \
    zip -9 deploy_package.zip handler.py && \
    zip -r9 deploy_package.zip *

CMD mkdir lib
CMD cp -pa /lib64/libta_lib.so.0* ./lib/
CMD ls -l ./lib

CMD sudo -s
CMD echo "include /usr/local/lib" >> /etc/ld.so.conf
CMD ldconfig
CMD ln -s /usr/local/lib/ /usr/local/

CMD sudo find / -name libta_lib.so.0
CMD sudo vi /etc/profile
CMD export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib
CMD :wq
CMD source /etc/proflie

CMD [ "handler.lambdahandler" ]

• handler.py (+関連する.pyファイル)

本文中の字数制限に抵触するため、リンクを貼っておきます。

https://github.com/whitecat-22/stock_price_chart/blob/main/handler.py

• ログ

{
  "errorMessage": "Unable to import module 'handler': libta_lib.so.0: cannot open shared object file: No such file or directory",
  "errorType": "Runtime.ImportModuleError",
  "stackTrace": []
}

START RequestId: eabdc8a8-a22f-4e07-88b4-dda1582b5bb6 Version: $LATEST
Import Error - unzip_requirements
OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k
[WARNING]	2021-06-06T07:01:46.095Z		Matplotlib created a temporary config/cache directory at /tmp/matplotlib-i7nui6jm because the default path (/home/sbx_user1051/.config/matplotlib) is not a writable directory; it is highly recommended to set the MPLCONFIGDIR environment variable to a writable directory, in particular to speed up the import of Matplotlib and to better support multiprocessing.
[ERROR] Runtime.ImportModuleError: Unable to import module 'handler': libta_lib.so.0: cannot open shared object file: No such file or directory
Traceback (most recent call last):
END RequestId: eabdc8a8-a22f-4e07-88b4-dda1582b5bb6
REPORT RequestId: eabdc8a8-a22f-4e07-88b4-dda1582b5bb6	Duration: 4599.39 ms	Billed Duration: 4600 ms	Memory Size: 1024 MB	Max Memory Used: 80 MB	

Answer 1

• RUN cp -pa /usr/local/lib/libta_lib.so.0* /var/task/ とすることで解決しました。

FROM public.ecr.aws/lambda/python:3.8
ENV AWS_DEFAULT_REGION ap-northeast-1

# install build libs
RUN yum groupinstall -y "Development Tools" \
    && yum install -y which openssl

RUN yum -y install wget
RUN yum -y install tar
RUN yum -y install gzip

# install TA-Lib
WORKDIR /tmp
RUN wget --quiet http://prdownloads.sourceforge.net/ta-lib/ta-lib-0.4.0-src.tar.gz -O ta-lib-0.4.0-src.tar.gz && \
    tar -zxvf ta-lib-0.4.0-src.tar.gz && \
    cd ta-lib/ && \
    ./configure --prefix=/usr/local/ && \
    make && \
    make check && \
    make install && \
    cd .. && \
    python3 -m pip install TA-Lib && \
    rm -R ta-lib ta-lib-0.4.0-src.tar.gz

RUN export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH

RUN cp -pa /usr/local/lib/libta_lib.so.0* /var/task/

RUN python3 -m pip install --upgrade TA-Lib --user --global-option='build_ext' --global-option="-I/usr/local/include" --global-option="-L/usr/local/lib"

RUN python3 -m pip install numpy

COPY ./requirements.txt /opt/
RUN python3 -m pip install --upgrade pip && \
    python3 -m pip install -r /opt/requirements.txt -t /var/task

WORKDIR /var/task
COPY handler.py .
# COPY slack.py .
# COPY twitter.py .

CMD [ "handler.lambdahandler" ]

Answer 2

ECRコンテナイメージを利用したLambda関数

これはLambda Layerに登録したコンテナイメージを利用しているのか、Lambda Functionとしてコンテナイメージをデプロイしているのかが紛らわしいのでわかるように記載いただければと思います。

書き方を見るに恐らく後者（Lambda Functionとしてコンテナイメージをデプロイ）だろうと推測して記載します。
（handlerをコンテナイメージに含めているのが一応の根拠です）

Dockerfileの記載に複数の問題があります。

• CMDを複数行記載している

CMDを複数行記載していますが、CMDは最後の一つ以外は実行されません。
CMD
※日本語版を貼っていますが、日本語版はやや古いのでDockerのドキュメントはなるべくなら英語版を見ることをお勧めします。一応確認しましたが、下記引用部分は英語版も同じことを書いています。
つまるところCMD [ "handler.lambdahandler" ]以外は実行されません。
handler.pyを動かすのがここで定義しているDockerコンテナ上なので、Dockerコンテナ上に色々設定しておきましょう。

Dockerfile では CMD 命令を 1 つしか記述できません。 仮に複数の CMD を記述しても、最後の CMD 命令しか処理されません。

CMD 命令の主目的は、コンテナの実行時のデフォルト処理を設定することです。 この処理設定においては、実行モジュールを含める場合と、実行モジュールを省略する場合があります。 省略する場合は ENTRYPOINT 命令を合わせて指定する必要があります。

• Dockerfile上でviを実行しようとしている

結果的には上記の通り実行されていないので問題になりませんでしたが、恐らくviで/etc/profileを編集しようとしている箇所はうまく行かないと思います。
viはテキストエディタで、当然インタラクティブに入力を受け取ってテキストを編集するツールです。
コマンドラインでファイルを編集したいのであればテキストエディタを呼び出すのではなくコマンドで追記や置換をしましょう。
また、仮に書いてあるコマンドをそのまま手で打ったとしても、viは編集したい場合インサートモードにする必要があるので恐らく想定通りの編集結果にはならないと思います。
今回はLambdaを動かすときに必要な環境変数を定義したいだけなので、わざわざ/etc/profileを編集しなくてもENV LD_LIBRARY_PATH $LD_LIBRARY_PATH:/usr/libで十分な気がします。
ENV

ちなみに、Lambda上でdocker-composeは使わないのでdocker-compose.ymlは関係ありません。
handler.pyは貼ったほうがいいとは思います。

また、コンテナ化したPythonプログラムをLambdaで動かすにあたっては、まずこのあたりをご参照ください。
コンテナイメージで Python Lambda 関数をデプロイする
Lambda関数をコンテナイメージで動かしてみた
AWS Lambda with Container Image で MeCab (NEologd) を動かしてみた

Comments

[_whitecat_22]

yu_1985様
ありがとうございます。
handler.pyについては、本文中の字数制限（～10,000字）から、リンクのみを貼り付けておきました。
リンク先をご参照いただければ幸いです。

＞恐らく後者（Lambda Functionとしてコンテナイメージをデプロイ）
ご推察の通り、functionとしてイメージをデプロイしています。

ご教示いただいた文献も確認してみますが、handler.py等を含めて、何かお気付きの点がございましたら、改めてご指摘いただけましたら大変助かります。
よろしくお願いいたします。