質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

受付中

aws lambdaにtensorflowを展開できません。

kanno_0725
kanno_0725

総合スコア0

AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

0回答

0評価

0クリップ

785閲覧

投稿2020/12/04 07:26

編集2022/01/12 10:55

前提・実現したいこと

aws lambdaで機械学習の学習済みモデルを使って、aws dynamodbに入力されるデータに対する分類問題を解かせるプログラムを作ろうと考えています。

発生している問題・エラーメッセージ

機械学習のモデルをロードする上でtensorflowをインポートする必要があり、serverless frameworkでS3 bukectを通して、lambdaの/tempに展開しようと考えています。
s3からlambdaの/tmpディレクトリに展開する際にサイズオーバーでエラーが出てしまいます。

terminal

"errorMessage": "[Errno 28] No space left on device", "errorType": "OSError", "stackTrace": [

該当のソースコード

デプロイしようとしているserverless.ymlとrequirements.txtは以下のように設定しています。

serverless.yml

service: sample-app provider: name: aws runtime: python3.8 region: ap-northeast-1 stage: dev iamRoleStatements: - Effect: "Allow" Action: - s3:ListBucket - s3:GetObject Resource: - "arn:aws:s3::*" custom: pythonRequirements: dockerizePip: true zip: true slim: true slimPatterns: - "**/debug" - "**/grpc" - "**/h5py" - "**/markdown" - "**/numpy" - "**/pkg_resources" - "**/setuptools" - "**/tensorboard/plugins" - "**/tensorboard/webfiles.zip" - "**/tensorflow_core/contrib" - "**/tensorflow_core/examples" - "**/tensorflow_core/include" - "**/tensorflow_estimator" - "**/werkzeug" - "**/wheel" functions: hello: handler: handler.hello timeout: 60 plugins: - serverless-python-requirements

requirements.txt

tensorflow==2.2.0rc3

試したこと

・tensorflowのバージョンを変更した。
tensorflow2.2.0rc0をrequireする
→tensorflow2.2.0rc1以上のバージョンを使えというエラー?

error

STDERR: ERROR: Could not find a version that satisfies the requirement tensorflow==2.2.0rc0 (from -r /var/task/requirements.txt (line 1)) (from versions: 2.2.0rc1, 2.2.0rc2, 2.2.0rc3, 2.2.0rc4, 2.2.0, 2.2.1, 2.3.0rc0, 2.3.0rc1, 2.3.0rc2, 2.3.0, 2.3.1, 2.4.0rc0, 2.4.0rc1, 2.4.0rc2, 2.4.0rc3)

tensorflow2.2.0rc1をrequireする

error

Error: STDOUT: Collecting tensorflow==2.2.0rc1 Using cached tensorflow-2.2.0rc1-cp38-cp38-manylinux2010_x86_64.whl (516.2 MB) Collecting six>=1.12.0 Using cached six-1.15.0-py2.py3-none-any.whl (10 kB) Collecting wheel>=0.26; python_version >= "3" Using cached wheel-0.36.0-py2.py3-none-any.whl (34 kB) Collecting keras-preprocessing>=1.1.0 Using cached Keras_Preprocessing-1.1.2-py2.py3-none-any.whl (42 kB) Collecting grpcio>=1.8.6 Downloading grpcio-1.34.0-cp38-cp38-manylinux2014_x86_64.whl (4.0 MB) Collecting google-pasta>=0.1.8 Using cached google_pasta-0.2.0-py3-none-any.whl (57 kB) Collecting h5py<2.11.0,>=2.10.0 Using cached h5py-2.10.0-cp38-cp38-manylinux1_x86_64.whl (2.9 MB) Collecting numpy<2.0,>=1.16.0 Using cached numpy-1.19.4-cp38-cp38-manylinux2010_x86_64.whl (14.5 MB) Collecting gast==0.3.3 Using cached gast-0.3.3-py2.py3-none-any.whl (9.7 kB) Collecting opt-einsum>=2.3.2 Using cached opt_einsum-3.3.0-py3-none-any.whl (65 kB) Collecting absl-py>=0.7.0 Using cached absl_py-0.11.0-py3-none-any.whl (127 kB) Collecting tensorflow-estimator<2.3.0,>=2.2.0rc0 Using cached tensorflow_estimator-2.2.0-py2.py3-none-any.whl (454 kB) Processing /var/useDownloadCache/wheels/5f/fd/9e/b6cf5890494cb8ef0b5eaff72e5d55a70fb56316007d6dfe73/wrapt-1.12.1-cp38-cp38-linux_x86_64.whl Collecting scipy==1.4.1; python_version >= "3" Using cached scipy-1.4.1-cp38-cp38-manylinux1_x86_64.whl (26.0 MB) Collecting protobuf>=3.8.0 Using cached protobuf-3.14.0-cp38-cp38-manylinux1_x86_64.whl (1.0 MB) Collecting tensorboard<2.2.0,>=2.1.0 Using cached tensorboard-2.1.1-py3-none-any.whl (3.8 MB) Collecting astunparse==1.6.3 Using cached astunparse-1.6.3-py2.py3-none-any.whl (12 kB) Processing /var/useDownloadCache/wheels/a0/16/9c/5473df82468f958445479c59e784896fa24f4a5fc024b0f501/termcolor-1.1.0-py3-none-any.whl Collecting requests<3,>=2.21.0 Using cached requests-2.25.0-py2.py3-none-any.whl (61 kB) Collecting google-auth<2,>=1.6.3 Using cached google_auth-1.23.0-py2.py3-none-any.whl (114 kB) Collecting markdown>=2.6.8 Using cached Markdown-3.3.3-py3-none-any.whl (96 kB) Collecting werkzeug>=0.11.15 Using cached Werkzeug-1.0.1-py2.py3-none-any.whl (298 kB) Collecting setuptools>=41.0.0 Using cached setuptools-50.3.2-py3-none-any.whl (785 kB) Collecting google-auth-oauthlib<0.5,>=0.4.1 Using cached google_auth_oauthlib-0.4.2-py2.py3-none-any.whl (18 kB) Collecting certifi>=2017.4.17 Using cached certifi-2020.11.8-py2.py3-none-any.whl (155 kB) Collecting chardet<4,>=3.0.2 Using cached chardet-3.0.4-py2.py3-none-any.whl (133 kB) Collecting urllib3<1.27,>=1.21.1 Using cached urllib3-1.26.2-py2.py3-none-any.whl (136 kB) Collecting idna<3,>=2.5 Using cached idna-2.10-py2.py3-none-any.whl (58 kB) Collecting pyasn1-modules>=0.2.1 Using cached pyasn1_modules-0.2.8-py2.py3-none-any.whl (155 kB) Collecting rsa<5,>=3.1.4; python_version >= "3.5" Using cached rsa-4.6-py3-none-any.whl (47 kB) Collecting cachetools<5.0,>=2.0.0 Using cached cachetools-4.1.1-py3-none-any.whl (10 kB) Collecting requests-oauthlib>=0.7.0 Using cached requests_oauthlib-1.3.0-py2.py3-none-any.whl (23 kB) Collecting pyasn1<0.5.0,>=0.4.6 Using cached pyasn1-0.4.8-py2.py3-none-any.whl (77 kB) Collecting oauthlib>=3.0.0 Using cached oauthlib-3.1.0-py2.py3-none-any.whl (147 kB) Installing collected packages: six, wheel, numpy, keras-preprocessing, grpcio, google-pasta, h5py, gast, opt-einsum, absl-py, tensorflow-estimator, wrapt, scipy, protobuf, certifi, chardet, urllib3, idna, requests, setuptools, pyasn1, pyasn1-modules, rsa, cachetools, google-auth, markdown, werkzeug, oauthlib, requests-oauthlib, google-auth-oauthlib, tensorboard, astunparse, termcolor, tensorflow Successfully installed absl-py-0.11.0 astunparse-1.6.3 cachetools-4.1.1 certifi-2020.11.8 chardet-3.0.4 gast-0.3.3 google-auth-1.23.0 google-auth-oauthlib-0.4.2 google-pasta-0.2.0 grpcio-1.34.0 h5py-2.10.0 idna-2.10 keras-preprocessing-1.1.2 markdown-3.3.3 numpy-1.19.4 oauthlib-3.1.0 opt-einsum-3.3.0 protobuf-3.14.0 pyasn1-0.4.8 pyasn1-modules-0.2.8 requests-2.25.0 requests-oauthlib-1.3.0 rsa-4.6 scipy-1.4.1 setuptools-50.3.2 six-1.15.0 tensorboard-2.1.1 tensorflow-2.2.0rc1 tensorflow-estimator-2.2.0 termcolor-1.1.0 urllib3-1.26.2 werkzeug-1.0.1 wheel-0.36.0 wrapt-1.12.1

・kerasのみをrequireした
tensorflowが必要というエラー

補足情報(FW/ツールのバージョンなど)

○環境はこのようになっています。

Your Environment Information ---------------------------
Operating System: darwin
Node Version: 12.18.1
Framework Version: 2.13.0 (standalone)
Plugin Version: 4.1.2
SDK Version: 2.3.2
Components Version: 3.4.2

○参考にしたサイト
AWS LambdaでTensorFlow 2.0を使った画像分類

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。