質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.02%
AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

[Lambda Python] S3のcsvをjson変換転送時(requests.post)に配列の文字列を正常に整数変換(list(map(int)できない問題

msy47
msy47

総合スコア23

AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

1回答

0グッド

0クリップ

207閲覧

投稿2022/12/06 11:28

前提

S3にアップロードされたcsvをストリームで読み込み
配列へ格納し、Opensearchへjson変換、一部の文字列を整数変換し
postをつかって転送する
Opensearch側でグラフ化を想定しているため、一部の文字列を整数へ変換する必要があります。

実現したいこと

  • csvで取り込んだ再json変換転送時に一部の文字列整数変換したい

発生している問題

Jsonを受け取ったOpensearch側でのGET結果
整数変換転送すると2桁以上で正常に変換できない

"_index" : "lamda-s3-index", "_type" : "_doc", "_id" : "xxxxxx", "_score" : 1.0, "_source" * { "vmanagename" : "vnamaenamexxxx" "hostname" : "hostnamexxxxx" "devicemodel" : "devicemodelxxxxx" "session1" : [ 1, 0 ], "session2 : [ 9 ], "sessionmax" : [ 9, 9, 9 ]

文字列転送の場合

"session1" : "10", "session2 : "9", "sessionmax" : "999"

該当のソースコード

csvサンプル
vmanagename, 1.1.1.1, hostname, devicemodel, 10, 9, 999

Lambda(Python)

1 2import boto3 3import re 4import requests 5import csv 6import io 7from requests_aws4auth import AWS4Auth 8 9#配列 10vmanagename = [] 11ip = [] 12hostname = [] 13devicemodel = [] 14session1 = [] 15session2 = [] 16sessionmax = [] 17 18 19region = '' # e.g. us-west-1 20service = 'es' 21credentials = boto3.Session().get_credentials() 22awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, service, session_token=credentials.token) 23 24host = '' # the OpenSearch Service domain, e.g. https://search-mydomain.us-west-1.es.amazonaws.com 25index = 'lambda-s3-index' 26type = '_doc' 27url = host + '/' + index + '/' + type 28 29headers = { "Content-Type": "application/json" } 30 31s3 = boto3.client('s3') 32 33# Lambda execution starts here 34def handler(event, context): 35 for record in event['Records']: 36 37 # Get the bucket name and key for the new file 38 bucket = record['s3']['bucket']['name'] 39 key = record['s3']['object']['key'] 40 41 # Get, read, and split the file into lines 42 obj = s3.get_object(Bucket=bucket, Key=key) 43 body = obj['Body'].read() 44 textIo = io.TextIOWrapper(io.BytesIO(body)) 45 46 # Match the regular expressions to each line and index the JSON 47 for row in lines csv.reader(textIo): 48 print(row) 49 vmanagename = row[0] 50 ip = row[1] 51 devicemodel = row[2] 52 hostname = row[3] 53 session1 = row[4] 54 session2 = row[5] 55 sessionmax = row[6] 56 print(row[0], row[1], row[2], row[3], row[4], row[5], row[6]) 57 58 document = { "vmanagename ": vmanagename , "ip ": ip , "devicemodel ": devicemodel , "hostname ": hostname , "session1 ": list(map(int, session1)) , "session2": list(map(int, session2)), "sessionmax ": list(map(int, sessionmax ))} 59 r = requests.post(url, auth=awsauth, json=document, headers=headers)

試したこと

ストリームで取り込んだ文字列を整数変換しようと調べた結果
mapを使用すると変換できるとのことだったので使用してみましたが
正常に整数に変換することができず。
list(map(int, session2)

補足情報(FW/ツールのバージョンなど)

Python3.9

以下のような質問にはグッドを送りましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

グッドが多くついた質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

msy47

2022/12/06 12:46

qnoirさん ご指摘ありがとうございます! 想定どおりの整数で転送することができました! ありがとうございます。

回答1

0

ベストアンサー

"sessionmax" : [ 9, 9, 9 ]

のようになってしまう理由は、「999」というシーケンスに対して map を適用しているからだと思われます。

普通にintで囲むだけではだめなのでしょうか。

python

1document = { "vmanagename ": vmanagename , 2 "ip ": ip , 3 "devicemodel ": devicemodel , 4 "hostname ": hostname , 5 "session1 ": [int(session1)] , 6 "session2": [int(session2)], 7 "sessionmax ": [int(sessionmax)] }

投稿2022/12/06 11:47

編集2022/12/06 11:57
qnoir

総合スコア7910

良いと思った回答にはグッドを送りましょう。
グッドが多くついた回答ほどページの上位に表示されるので、他の人が素晴らしい回答を見つけやすくなります。

下記のような回答は推奨されていません。

  • 間違っている回答
  • 質問の回答になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

このような回答には修正を依頼しましょう。

回答へのコメント

msy47

2022/12/06 12:46

qnoirさん ご指摘ありがとうございます! 想定どおりの整数で転送することができました! ありがとうございます。

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.02%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。