LambdaでNo module named 'psycopg2._psycopg'エラーが解決できない

Question

実現したいこと

LambdaからpostgreSQLに接続したい。

発生している問題・分からないこと

テストを実行するとpsycopg2._psycopgがないと怒られるが、色々な方法を試しても解決しない。有識者のご意見をいただきたいです。

エラーメッセージ

{
  "errorMessage": "Unable to import module 'lambda_function': No module named 'psycopg2._psycopg'",
  "errorType": "Runtime.ImportModuleError",
  "requestId": "3ed6dd24-2fbd-4e3e-bd25-305f00a10172",
  "stackTrace": []
}

該当のソースコード

import json
import psycopg2
import os

def lambda_handler(event, context):
    print("Received event:", event)
    # 環境変数からデータベース接続情報を取得
    database_host = os.environ.get('DATABASE_HOST')
    database_name = os.environ.get('DATABASE_NAME')
    database_user = os.environ.get('DATABASE_USER')
    database_password = os.environ.get('DATABASE_PASSWORD')

    # マーカー名をリクエストから取得
    marker_name = event['queryStringParameters']['markerName']

    # データベース接続
    try:
        conn = psycopg2.connect(
            dbname=database_name,
            user=database_user,
            password=database_password,
            host=database_host
        )
        cur = conn.cursor()
        # cur.execute("SELECT video_url FROM videos WHERE marker_name = %s", (marker_name,))
        cur.execute("SELECT * FROM videos")

        row = cur.fetchone()
        cur.close()
        conn.close()

        if row:
            return {
                'statusCode': 200,
                'body': json.dumps({"videoUrl": row[0]}),
                'headers': {
                    'Content-Type': 'application/json'
                }
            }
        else:
            return {
                'statusCode': 404,
                'body': json.dumps({"error": "Video not found"}),
                'headers': {
                    'Content-Type': 'application/json'
                }
            }
    except Exception as e:
        print("Error:", str(e))
        return {
            'statusCode': 500,
            'body': json.dumps({"error": str(e)}),
            'headers': {
                'Content-Type': 'application/json'
            }
        }

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

方法①
aws-psycopg2のインストールし、Zipでアップロードしテストを実行→エラー

方法②
psycopg2-binaryをインストール→エラー

方法③
Dockerから以下のようにしてバイナリをインストール→エラー
RUN python3 -m pip install psycopg2-binary --no-cache-dir

上記3つの方法を試しましたが、同じエラーが出ています。
比較的新しい記事ですので、方法が古いという可能性は低いと思っています。
もしお時間あるのであれば、どれでも構いませんので試していただければ幸いです。
この方法でやってるよーというのがありましたら教えていただけないでしょうか。

補足

ランタイムのPythonのバージョンは合わせております。

再実施するも以下の通りにエラーが発生
※s3からのアップではなく、Zipからのアップにて実行しています。

Test Event Name
(unsaved) test event

Response
{
  "errorMessage": "Unable to import module 'lambda_function': No module named 'psycopg2'",
  "errorType": "Runtime.ImportModuleError",
  "requestId": "38f35630-ad38-4e74-89de-bd7eced628e0",
  "stackTrace": []
}

Function Logs
START RequestId: 38f35630-ad38-4e74-89de-bd7eced628e0 Version: $LATEST
LAMBDA_WARNING: Unhandled exception. The most likely cause is an issue in the function code. However, in rare cases, a Lambda runtime update can cause unexpected function behavior. For functions using managed runtimes, runtime updates can be triggered by a function change, or can be applied automatically. To determine if the runtime has been updated, check the runtime version in the INIT_START log entry. If this error correlates with a change in the runtime version, you may be able to mitigate this error by temporarily rolling back to the previous runtime version. For more information, see https://docs.aws.amazon.com/lambda/latest/dg/runtimes-update.html
[ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': No module named 'psycopg2'
Traceback (most recent call last):END RequestId: 38f35630-ad38-4e74-89de-bd7eced628e0
REPORT RequestId: 38f35630-ad38-4e74-89de-bd7eced628e0	Duration: 1.77 ms	Billed Duration: 2 ms	Memory Size: 128 MB	Max Memory Used: 31 MB

lambda_function.pyは1つ上の階層にあります。

ローカルにpsycopg2をインストールし、レイヤー化

pip install psycopg2
Requirement already satisfied: psycopg2 in /Users/hiro/.pyenv/versions/3.10.6/lib/python3.10/site-packages (2.9.9)

すでに入っていたので、対象フォルダまで移動し、フォルダ内をzip化

新規でラムダ関数を作成し、lambda_function.pyを作成
Zipからレイヤーを作成し、ラムダ関数と紐づけてテスト実行→エラー

Test Event Name
test

Response
{
  "errorMessage": "Unable to import module 'lambda_function': No module named 'psycopg2'",
  "errorType": "Runtime.ImportModuleError",
  "requestId": "33e6915a-072d-4525-95d6-56a280be654c",
  "stackTrace": []
}

Function Logs
START RequestId: 33e6915a-072d-4525-95d6-56a280be654c Version: $LATEST
LAMBDA_WARNING: Unhandled exception. The most likely cause is an issue in the function code. However, in rare cases, a Lambda runtime update can cause unexpected function behavior. For functions using managed runtimes, runtime updates can be triggered by a function change, or can be applied automatically. To determine if the runtime has been updated, check the runtime version in the INIT_START log entry. If this error correlates with a change in the runtime version, you may be able to mitigate this error by temporarily rolling back to the previous runtime version. For more information, see https://docs.aws.amazon.com/lambda/latest/dg/runtimes-update.html
[ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': No module named 'psycopg2'
Traceback (most recent call last):END RequestId: 33e6915a-072d-4525-95d6-56a280be654c
REPORT RequestId: 33e6915a-072d-4525-95d6-56a280be654c	Duration: 9.15 ms	Billed Duration: 10 ms	Memory Size: 128 MB	Max Memory Used: 30 MB	Init Duration: 73.11 ms

Request ID
33e6915a-072d-4525-95d6-56a280be654c

Comments

[mike2mike4]

https://qiita.com/Geeryo/items/bf8d8dbd964640dbc238　は試しましたか？
試した場合は結果を本文に追記ください。解決のヒントを探れるかもしれません。

[mike2mike4]

方法②でLambda_function.pyの場所が１階層上にあるべきかと。

[Rivermouth]

コメント感謝します。
試しましたが、エラーになってしまいます。
結果については補足に追記します。

[mike2mike4]

psycopg2バイナリを含むLambda Layerを作成:

１．ローカルで psycopg2 をインストールし、ライブラリをZIPファイルに圧縮します（入ってるフォルダを圧縮するのではなく、フォルダの中に入ってCTRL+Aで選択した後、右クリックで圧縮する※Windowsだとして書きました）
２．このZIPファイルをAWS Lambdaのレイヤーとしてアップロードします。
３．Lambda関数にこのレイヤーを追加します。

上記でどうでしょうか？

[Rivermouth]

試してみましたがダメでした。
手順を補足に記載します。すみません。。

[Rivermouth]

ちなみにMacです。

[mike2mike4]

私もLambdaで試したところダメでした。調べたところ、https://qiita.com/masashi-i/items/4bba3523057d20bc6854　ということらしいです。
レイヤーを追加しないとダメみたいなので、https://qiita.com/daiki7010/items/a2ad976b625be579a9c0　を参考に。
あ、Macか……ちょっと考えます。Mac使ったことないので。

[Rivermouth]

https://qiita.com/masashi-i/items/4bba3523057d20bc6854
も試してみたんですよね。。OSがダメなのかもと思って、、
https://qiita.com/daiki7010/items/a2ad976b625be579a9c0
これも東京or大阪のpython3.9以上がなくて、無理そうなんですよね。。

すみません。お手数おかけします。

[mike2mike4]

https://qiita.com/kj_hira/items/2b32f6892b6c44135c93　とか？
ローカル環境が違うので試すわけにもいかないですね……

[mike2mike4]

https://cloud5.jp/lambda-psycopg2/　これなんかわかりやすいです。

[Rivermouth]

これもでもフォルダの中身は同じ気がするんですよね、、、

[mike2mike4]

https://qiita.com/daiki7010/items/a2ad976b625be579a9c0
こちらで、python3.8指定したところ上記のエラーは出なくなりました。

[mike2mike4]

要件によって選択してください
1．学習のみ。上記3．8で。
2．業務。コンテナ作ってBuildする。3．12に対応します。

[melian]

> これもでもフォルダの中身は同じ気がするんですよね、、、

レイヤー化を試している部分のファイル内容の画像に _psycopg.cpython-310-darwin.so があって、これは macos 版の共有ライブラリです。実際には Amazon Linux(x86_64)版の共有ライブラリが必要なはずです。

[Rivermouth]

３.８で試したらいけました！
個人開発用なのでとりあえずこれでいいかなと。。
本当にありがとうございました！！

Answer 1

https://qiita.com/daiki7010/items/a2ad976b625be579a9c0
この方法で試してみる。