質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

IoT

IoT(Internet of Things)とは、インターネットがコンピュータなどの情報・通信機器のネットワークだけでなく、世の中のある様々なモノに接続されて自動認識・自動制御・遠隔計測などの能力を備えることです。「モノのインターネット」と一般的にいわれます。

Q&A

0回答

650閲覧

AWS Timestreamのデータを取得するLambda関数がうまく動かない

y_hosokawa

総合スコア2

AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

IoT

IoT(Internet of Things)とは、インターネットがコンピュータなどの情報・通信機器のネットワークだけでなく、世の中のある様々なモノに接続されて自動認識・自動制御・遠隔計測などの能力を備えることです。「モノのインターネット」と一般的にいわれます。

0グッド

0クリップ

投稿2022/10/21 01:45

前提

AWS IoTの以下の公式ブログを参考に、デジタルツインを構築し、センサデータの可視化を目指しております。

”IoT デバイスのデジタルツインを構築し、AWS IoT TwinMaker を使用してリアルタイムのセンサーデータを監視する (パート 2/2)”
https://aws.amazon.com/jp/blogs/news/build-a-digital-twin-of-your-iot-device-and-monitor-real-time-sensor-data-using-aws-iot-twinmaker-part-2-of-2/

Timestreamに保存されたデータをLambda関数を用いてIoT Twinmakerを経由してGrafanaで参照しようとしたら、エラーが表示されデータが取得できない(見れない状況です)

実現したいこと

エラーが発生しているLambda関数を正常に動かし、
ブログの通りTwinmakerおよびGrafana にてセンサデータの可視化を行いたい。

発生している問題・エラーメッセージ

ブログのpart1,2同様の環境を構築し、part2の5.最終結果まで手順を進め、デバイス側でPythonスクリプトを実行してダッシュボードで値を可視化しようとしたら、ダッシュボードの左上に”!”マークが出て、以下のエラーが表示され値が反映されていないです。

Grafana

1ConnectorFailureException: Response payload is null from Lambda connector arn:aws:lambda:[region]:[accountID]:function:timestreamReader, please check your lambda logs for detailed information

イメージ説明

[region]と[accountID]には私のAWS情報が記載されております。

Lambda関数がうまく動いていないようなので、CloudWatchにて該当ログのも確認しましたが、特にエラーは表示されていませんでした。
イメージ説明

該当のソースコード

以下、Lambda関数の中身です

python

1import logging 2import json 3import os 4import boto3 5 6from datetime import datetime 7 8LOGGER = logging.getLogger() 9LOGGER.setLevel(logging.INFO) 10 11# Get db and table name from Env variables 12DATABASE_NAME = os.environ['TIMESTREAM_DATABASE_NAME'] 13TABLE_NAME = os.environ['TIMESTREAM_TABLE_NAME'] 14 15# Python boto client for AWS Timestream 16QUERY_CLIENT = boto3.client('timestream-query') 17 18 19# Utility function: parses a timestream row into a python dict for more convenient field access 20def parse_row(column_schema, timestream_row): 21 """ 22 Example: 23 column=[ 24 {'Name': 'TelemetryAssetId', 'Type': {'ScalarType': 'VARCHAR'}}, 25 {'Name': 'measure_name', 'Type': {'ScalarType': 'VARCHAR'}}, 26 {'Name': 'time', 'Type': {'ScalarType': 'TIMESTAMP'}}, 27 {'Name': 'measure_value::double', 'Type': {'ScalarType': 'DOUBLE'}}, 28 {'Name': 'measure_value::varchar', 'Type': {'ScalarType': 'VARCHAR'}} 29 ] 30 row={'Data': [ 31 {'ScalarValue': 'Mixer_15_7e3c0bdf-3b1c-46b9-886b-14f9d0b9df4d'}, 32 {'ScalarValue': 'alarm_status'}, 33 {'ScalarValue': '2021-10-15 20:45:43.287000000'}, 34 {'NullValue': True}, 35 {'ScalarValue': 'ACTIVE'} 36 ]} 37 38 -> 39 40 { 41 'TelemetryAssetId': 'Mixer_15_7e3c0bdf-3b1c-46b9-886b-14f9d0b9df4d', 42 'measure_name': 'alarm_status', 43 'time': '2021-10-15 20:45:43.287000000', 44 'measure_value::double': None, 45 'measure_value::varchar': 'ACTIVE' 46 } 47 """ 48 49 data = timestream_row['Data'] 50 result = {} 51 for i in range(len(data)): 52 info = column_schema[i] 53 datum = data[i] 54 key, val = parse_datum(info, datum) 55 result[key] = val 56 return result 57 58# Utility function: parses timestream datum entries into (key,value) tuples. Only ScalarTypes currently supported. 59def parse_datum(info, datum): 60 """ 61 Example: 62 info={'Name': 'time', 'Type': {'ScalarType': 'TIMESTAMP'}} 63 datum={'ScalarValue': '2021-10-15 20:45:25.793000000'} 64 65 -> 66 67 ('time', '2021-10-15 20:45:25.793000000') 68 """ 69 70 71 if datum.get('NullValue', False): 72 return info['Name'], None 73 column_type = info['Type'] 74 if 'ScalarType' in column_type: 75 return info['Name'], datum['ScalarValue'] 76 else: 77 raise Exception(f"Unsupported columnType[{column_type}]") 78 79# This function extracts the timestamp from a Timestream row and returns in ISO8601 basic format 80def get_iso8601_timestamp(str): 81 # e.g. '2022-04-06 00:17:45.419000000' -> '2022-04-06T00:17:45.419000000Z' 82 83 return str.replace(' ', 'T') + 'Z' 84 85# Main logic 86def lambda_handler(event, context): 87 selected_property = event['selectedProperties'][0] 88 89 LOGGER.info("Selected property is %s", selected_property) 90 91 # 1. EXECUTE THE QUERY TO RETURN VALUES FROM DATABASE 92 #query_string = f"SELECT measure_name, time, measure_value::bigint" \ 93 query_string = f"SELECT measure_name, time, measure_value::double" \ 94 f" FROM {DATABASE_NAME}.{TABLE_NAME} " \ 95 f" WHERE time > from_iso8601_timestamp('{event['startTime']}')" \ 96 f" AND time <= from_iso8601_timestamp('{event['endTime']}')" \ 97 f" AND measure_name = '{selected_property}'" \ 98 f" ORDER BY time ASC" 99 100 101 try: 102 query_page = QUERY_CLIENT.query( 103 QueryString = query_string 104 ) 105 except Exception as err: 106 LOGGER.error("Exception while running query: %s", err) 107 raise err 108 109 # Query result structure: https://docs.aws.amazon.com/timestream/latest/developerguide/API_query_Query.html 110 111 next_token = None 112 if query_page.get('NextToken') is not None: 113 next_token = query_page['NextToken'] 114 schema = query_page['ColumnInfo'] 115 116 # 2. PARSE TIMESTREAM ROWS 117 result_rows = [] 118 for row in query_page['Rows']: 119 row_parsed = parse_row(schema,row) 120 #LOGGER.info('row parsed: %s', row_parsed) 121 result_rows.append(row_parsed) 122 123 # 3. CONVERT THE QUERY RESULTS TO THE FORMAT TWINMAKER EXPECTS 124 125 # There must be one entityPropertyReference for Humidity OR one for Temperature 126 entity_property_reference_temp = {} 127 entity_property_reference_temp['componentName'] = 'timestream-reader' 128 entity_property_reference_temp['propertyName'] = 'temperature' 129 entity_property_reference_temp['entityId'] = 'xxx' 130 131 entity_property_reference_hum = {} 132 entity_property_reference_hum['componentName'] = 'timestream-reader' 133 entity_property_reference_hum['propertyName'] = 'humidity' 134 entity_property_reference_hum['entityId'] = 'xxx' 135 136 values_temp = [] 137 values_hum = [] 138 139 for result_row in result_rows: 140 ts = result_row['time'] 141 measure_name = result_row['measure_name'] 142 #measure_value = result_row['measure_value::bigint'] 143 measure_value = result_row['measure_value::double'] 144 145 time = get_iso8601_timestamp(ts) 146 value = { 'doubleValue' : str(measure_value) } 147 148 if measure_name == 'temperature': 149 values_temp.append({ 150 'time': time, 151 'value': value 152 }) 153 elif measure_name == 'humidity': 154 values_hum.append({ 155 'time': time, 156 'value': value 157 }) 158 159 # The final structure "propertyValues" 160 property_values = [] 161 162 if(measure_name == 'temperature'): 163 property_values.append({ 164 'entityPropertyReference': entity_property_reference_temp, 165 'values': values_temp 166 }) 167 elif(measure_name == 'humidity'): 168 property_values.append({ 169 'entityPropertyReference': entity_property_reference_hum, 170 'values': values_hum 171 })

試したこと

・元のソースコードを使用すると、measure_valueがbigintとなっておりエラーを吐いたので、以下の箇所を修正しました。

Python

1 #query_string = f"SELECT measure_name, time, measure_value::bigint" \ 2 query_string = f"SELECT measure_name, time, measure_value::double" \ 3 4 #measure_value = result_row['measure_value::bigint'] 5 measure_value = result_row['measure_value::double']

補足情報(FW/ツールのバージョンなど)

上記ソースコードについての補足としては、
・環境変数として、TIMESTREAM_DATABASE_NAMEとTIMESTREAM_TABLE_NAMEは参照するTimestreamのデータベース名とテーブル名を設定済み

・上記コードに2か所存在する
entity_property_reference_temp['entityId'] = 'xxx'
には、Twinmakerで作成したエンティティのEntityIdを実際は入力しております。

AWSの使い方があまりわかっていないので、解決するために必要な情報が抜けているかもしれないです。

解決策をご教授願います。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問