質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

2122閲覧

[Lambda Python] S3のcsvをストリームで読み込みjson変換して転送したいがNo module namedエラーが発生する

msy47

総合スコア26

AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2022/12/06 02:25

編集2022/12/06 11:30

前提

S3にアップロードされたcsvを読み込み
json変換して、転送を試みております。

S3からcsvを読み込む際にエラーが発生しております。

エラーの解消方法についてご支援いただけると幸いです。

または別途、最善と思われる読み取り方法がありましたら
ご支援、ご教授いただけると幸いです。

参考としてるsample.py
「Lambda デプロイパッケージを作成する」
Amazon OpenSearch Service へのストリーミングデータをロードする - Amazon OpenSearch Service
https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/integrations.html#integrations-s3-lambda

実現したいこと

  • S3にアップロードされたcsvを読み込む
  • 読み込んだcsvをjsonへ変換する
  • 変換したデータを転送する

発生している問題・エラーメッセージ

[ERROR] Runtime.ImportModuleError: Unable to import module `sample` : No module named `BytesIO` Traceback (most recent call last):

該当のソースコード

Lambda

1 2import boto3 3import re 4import requests 5import csv 6import io 7import BytesIO 8from requests_aws4auth import AWS4Auth 9 10#配列 11vmanagename = [] 12ip = [] 13hostname = [] 14session1 = [] 15session2 = [] 16sessionmax = [] 17 18 19region = '' # e.g. us-west-1 20service = 'es' 21credentials = boto3.Session().get_credentials() 22awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, service, session_token=credentials.token) 23 24host = '' # the OpenSearch Service domain, e.g. https://search-mydomain.us-west-1.es.amazonaws.com 25index = 'lambda-s3-index' 26type = '_doc' 27url = host + '/' + index + '/' + type 28 29headers = { "Content-Type": "application/json" } 30 31s3 = boto3.client('s3') 32 33# Lambda execution starts here 34def handler(event, context): 35 for record in event['Records']: 36 37 # Get the bucket name and key for the new file 38 bucket = record['s3']['bucket']['name'] 39 key = record['s3']['object']['key'] 40 41 # Get, read, and split the file into lines 42 obj = s3.get_object(Bucket=bucket, Key=key) 43 body = obj['Body'].read() 44 textIo = io.TextIOWrapper(io.BytesIO(body)) 45 46 # Match the regular expressions to each line and index the JSON 47 for row in lines csv.reader(textIo): 48 print(row) 49 vmanagename = row[0] 50 ip = row[1] 51 hostname = row[2] 52 session1 = row[3] 53 session2 = row[4] 54 sessionmax = row[5] 55 56 document = { "vmanagename ": vmanagename , "ip ": ip , "hostname ": hostname , "session1 ": session1 , "session2": session2, "sessionmax ": sessionmax } 57 r = requests.post(url, auth=awsauth, json=document, headers=headers) 58

試したこと

No module named BytesIOをそのままの意味として受け取り
足りないモジュールは再度インストール+デプロイしようと試みましたが
そもそもBytesIOはPythonのデフォルトに備わっており、
インストール+デプロイも実行できず。

以下の受け取る箇所を
vmanagename = row[0]
以下のようにする必要があると考えましたが、それ以前のエラーのため確認できておりません。
vmanagename.append(str(row[0])

補足情報(FW/ツールのバージョンなど)

PythonはLambda側に準拠し3.9となります。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

msy47

2022/12/06 03:03

can110さん 回答ありがとうございます! 「No module named `BytesIO`」エラーは解消することができました。 別途エラーが発生しましたが、解決できない場合は別途起票致します。
guest

回答1

0

ベストアンサー

BytesIOioモジュールに含まれているのでimport BytesIOは不要(誤り)です。

投稿2022/12/06 02:51

can110

総合スコア38341

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問