Python APIの結果をdataframeを使ってget_request()にすべての結果を入れることができない

Question

実現したいこと

ここに実現したいことを箇条書きで書いてください。

• １つめのAPI(dataservice/device)でデバイス一覧が出力され
• デバイス一覧をもとに２つ目のAPI(dataservice/statistics/approute/fec/aggregation)を実行し
• デバイスｘ紐付くTunnelの結果をすべて表示したい

前提

デバイス一覧

1.1.1.1
1.1.1.2
1.1.1.3
1.1.1.4

例として、２つ目のAPI結果では、１デバイスに複数のTunnel結果が出力される。
1.1.1.1以下に存在する複数のトンネル(abc, edf, ghi, jki...)

deviceId debice loss latency
1.1.1.1  abc 999 999 
1.1.1.1  edf 999 999 
1.1.1.1  ghi 999 999
1.1.1.1  jkl 999 999

指摘により、1デバイスｘn個のトンネルが、デバイス一覧すべてをprintすることで
Logでは取得できていることを確認できたが、
以下の箇所のロジックにて、csvで出力することができない

Tunnel_level_quality_analysis_df = get_request(vmanage_info_df)
以上の一文でget_request(vmanage_info_df)をcsvに入れると認識している。

しかし、csvの結果が、デバイス一覧のみしか出力されていない。
df = df[["deviceId", "system-ip", "host-name", "device-model", "bfdSessionsUp", "bfdSessions"]]
の結果しか入っていない状況です。

想定結果のcsv

System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.1 99.99・・・・5 2023/01/01 01:01:01
1.1.1.1 99.98・・・・5 2023/01/01 01:01:01
1.1.1.1 99.97・・・・5 2023/01/01 01:01:01
1.1.1.1 99.96・・・・5 2023/01/01 01:01:01
System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.2 99.99・・・・5 2023/01/01 01:01:01
1.1.1.2 99.98・・・・5 2023/01/01 01:01:01
1.1.1.2 99.97・・・・5 2023/01/01 01:01:01
1.1.1.2 99.96・・・・5 2023/01/01 01:01:01
System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.3 99.99・・・・5 2023/01/01 01:01:01
1.1.1.3 99.98・・・・5 2023/01/01 01:01:01
1.1.1.3 99.97・・・・5 2023/01/01 01:01:01
1.1.1.3 99.96・・・・5 2023/01/01 01:01:01
System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.4 99.99・・・・5 2023/01/01 01:01:01
1.1.1.4 99.98・・・・5 2023/01/01 01:01:01
1.1.1.4 99.97・・・・5 2023/01/01 01:01:01
1.1.1.4 99.96・・・・5 2023/01/01 01:01:01

発生している問題・エラーメッセージ

debug1
debug2
debug3
device_url
https://vmanage_ABC/dataservice/device
filter_df
deviceId system_ip・・・bdfSessionsUp bfdSessions
1.1.1.1 1.1.1.1 ・・・ 8 8
1.1.1.2 1.1.1.2 ・・・ 8 8
1.1.1.3 1.1.1.3 ・・・ 8 8
1.1.1.4 1.1.1.4 ・・・ 8 8

query_data
{'query':(略),{'value':['1.1.1.1'],(略). 'type':'sum'}]}}
device_list
<Response [200]>
200
df2
System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.1 99.99・・・・5 2023/01/01 01:01:01
1.1.1.1 99.98・・・・5 2023/01/01 01:01:01
1.1.1.1 99.97・・・・5 2023/01/01 01:01:01
1.1.1.1 99.96・・・・5 2023/01/01 01:01:01
df_itertuples
deviceId system_ip・・・bdfSessionsUp bfdSessions
1.1.1.1 1.1.1.1 ・・・ 8 8
1.1.1.2 1.1.1.2 ・・・ 8 8
1.1.1.3 1.1.1.3 ・・・ 8 8
1.1.1.4 1.1.1.4 ・・・ 8 8

query_data
{'query':(略),{'value':['1.1.1.1'],(略). 'type':'sum'}]}}
device_list
<Response [200]>
200
df2
System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.2 99.99・・・・5 2023/01/01 01:01:01
1.1.1.2 99.98・・・・5 2023/01/01 01:01:01
1.1.1.2 99.97・・・・5 2023/01/01 01:01:01
1.1.1.2 99.96・・・・5 2023/01/01 01:01:01
df_itertuples
deviceId system_ip・・・bdfSessionsUp bfdSessions
1.1.1.1 1.1.1.1 ・・・ 8 8
1.1.1.2 1.1.1.2 ・・・ 8 8
1.1.1.3 1.1.1.3 ・・・ 8 8
1.1.1.4 1.1.1.4 ・・・ 8 8

query_data
{'query':(略),{'value':['1.1.1.1'],(略). 'type':'sum'}]}}
device_list
<Response [200]>
200
df2
System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.3 99.99・・・・5 2023/01/01 01:01:01
1.1.1.3 99.98・・・・5 2023/01/01 01:01:01
1.1.1.3 99.97・・・・5 2023/01/01 01:01:01
1.1.1.3 99.96・・・・5 2023/01/01 01:01:01
df_itertuples
deviceId system_ip・・・bdfSessionsUp bfdSessions
1.1.1.1 1.1.1.1 ・・・ 8 8
1.1.1.2 1.1.1.2 ・・・ 8 8
1.1.1.3 1.1.1.3 ・・・ 8 8
1.1.1.4 1.1.1.4 ・・・ 8 8

query_data
{'query':(略),{'value':['1.1.1.1'],(略). 'type':'sum'}]}}
device_list
<Response [200]>
200
df2
System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.4 99.99・・・・5 2023/01/01 01:01:01
1.1.1.4 99.98・・・・5 2023/01/01 01:01:01
1.1.1.4 99.97・・・・5 2023/01/01 01:01:01
1.1.1.4 99.96・・・・5 2023/01/01 01:01:01
df_itertuples
deviceId system_ip・・・bdfSessionsUp bfdSessions
1.1.1.1 1.1.1.1 ・・・ 8 8
1.1.1.2 1.1.1.2 ・・・ 8 8
1.1.1.3 1.1.1.3 ・・・ 8 8
1.1.1.4 1.1.1.4 ・・・ 8 8

該当のソースコード(df2はprintで確認_回答反映

import json
import boto3
import csv
import numpy as np
import pandas as pd
import requests
import os
import urllib3
urllib3.disable_warnings(urlib3.exceptions.InsecureRequests.InsecureRequestWarning)
from io import StringIO
from datetime import datetime

headers_post = ["accept": "application/json", "Content-Type": "application/json"]

print("debug1")

def lambda_handler(event, context):
    s3 = boto3.resource(`s3`)
    bucket_name = os.environ.get(`S3_BUCKET`)

    vmanage_info = "tmp/vmanage_info.csv"
    bucket.download_file(os.environ.get(`CSV_VMANAGE_INFO`), vmanage_info)
    vmanage_info_df = pd.read.csv(vmanage_info)
    
    device_info = "/tmp/device_info.csv"
    bucket.download_file(os.environ.get(`CSV_DEVICE_INFO`), device_info)
    device_info_df = pd.read.csv(device_info)
    
    Tunnel_level_quality_analysis_df = get_request(vmanage_info_df)
    
    tmp_csv = "/tmp/Tunnel_level_quality_analysis.csv"
    Tunnel_level_quality_analysis_df.to_csv(tmp_csv, encoding='utf-8', index=False)
    
    s3 = boto3.resource('s3')
    s3.meta.client.upload_file(tmp_csvm 'utlink-vmanage-bucket', 'csv/Tunnel_level_quality_analysis.csv')
    
    print("debug2")

def get_request(vmanage_info_df):
    #api_datalist = []
    for row in vmanage_info_df.itertuples():
        vmanage_host = row[1]
        vmanage_port = row[2]
        vmanage_username = row[3]
        vmanage_password = row[4]
    
        base_url = `https://%s:%s`%(vmanage_host, vmanage_port)
    
        login_action = `/j_security_check`
    
        login_data = {`j_username` : vmanage_username, `j_password` : vmanage_password}
    
        login_url = base_url + login_action
    
        session = requests.session()
    
        pring("debug3")
    
        login_response = session.post(url=login_url, data=login_data, verify=False)
        if b`<html>` in login_response.content:
            print("Login token Failed")
            exit(1)
        
        xsrf_token_url = base_url + '/dataservice/client/token'
        
        login_token = session.get(url=xsrf_token_url, verify=False)
        if login_token.status_code == 200:
            if b`<html>` in login_token.content:
                print("Login token Failed")
                exit(1)
            
            session.headers[`X-XSRF-TOKEN`] = login_token.content
            
        
        device_url = base_url + `/dataservice/device`
        print("device_url")
        print(device_url)
        
        device_list = session.get(url=device_url, verify=False)
        if device_list.status_code = 200:
            json_data = device_list.json()
        else:
            print (device_list.status_code)
        
        df = pd.json_normalize(json_data["data"]
        df = df[(df["device-type"] == "vedge") & (df["reachability"] == "reachable")]
        
        print("filter_df")
        print(df)
        
        df = df[["deviceId", "system-ip", "host-name", "device-model", "bfdSessionsUp", "bfdSessions"]]
        
        for data in df.itertuples():
            System_ip = data[1]
            query_data = ["query":(略),["value":[System_ip],(略)"type":"sum"}]}}
            print("query_data")
            print(query_data)
            
            device_url = base_url + '/dataservice/statistics/approute/fec/aggregation'
            #print("device_url")
            #print(device_url)
            
            device_list = session.post(url=device_url, json=query_data, headers=headers_post, verify=False)
            print("device_list")
            print(device_list)
            
            if device_list.status_code == 200:
                print (device_list.status_code)
                json_data = device_list.json()
                
                df2 = pd.json_normalize(json_data["data"])
                
                #先頭にsystemip
                df2.insert(0, 'System_ip', data[1])
                #末尾にdatetime
                df2['dt'] = datetime.now(),strftime('%Y%m%d% %H:%M:%S')
                c = df2.pop('dt')
                df2.insert(df2.shape[1], c.name, c)
                
                print("df2")
                print(df2)
                
            else:
                print(device_list.status_code)
            

    return df

試したこと

forやdfなどの位置を組み替えてデバッグ中なのですが、
いずれも末尾のデバイス結果しか出力されず

理想　以下のdf結果において、デバイス分出力したい

deviceId system_ip・・・bdfSessionsUp bfdSessions
1.1.1.1 1.1.1.1 ・・・ 8 8
1.1.1.2 1.1.1.2 ・・・ 8 8
1.1.1.3 1.1.1.3 ・・・ 8 8
1.1.1.4 1.1.1.4 ・・・ 8 8

想定結果

System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.1 99.99・・・・5 2023/01/01 01:01:01
1.1.1.1 99.98・・・・5 2023/01/01 01:01:01
1.1.1.1 99.97・・・・5 2023/01/01 01:01:01
1.1.1.1 99.96・・・・5 2023/01/01 01:01:01
System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.2 99.99・・・・5 2023/01/01 01:01:01
1.1.1.2 99.98・・・・5 2023/01/01 01:01:01
1.1.1.2 99.97・・・・5 2023/01/01 01:01:01
1.1.1.2 99.96・・・・5 2023/01/01 01:01:01
System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.3 99.99・・・・5 2023/01/01 01:01:01
1.1.1.3 99.98・・・・5 2023/01/01 01:01:01
1.1.1.3 99.97・・・・5 2023/01/01 01:01:01
1.1.1.3 99.96・・・・5 2023/01/01 01:01:01
System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.4 99.99・・・・5 2023/01/01 01:01:01
1.1.1.4 99.98・・・・5 2023/01/01 01:01:01
1.1.1.4 99.97・・・・5 2023/01/01 01:01:01
1.1.1.4 99.96・・・・5 2023/01/01 01:01:01

補足情報（FW/ツールのバージョンなど）

Python3.9
ここにより詳細な情報を記載してください。

回答動作確認コード

文字数制限のため追記箇所のみ記載

・・・・（略）・・・・
dfs = []
def lambda_handler(event, context):
・・・・（略）・・・・
                print("df2")
                print(df2)
                dfs.append(df2)
・・・・（略）・・・・
df_con = pd.concat(dfs).reset_index(drop=True)
print(df_con)
return df_con

System_ip loss_percentage ・・・・ vqoe_score dt
1.1.1.1 99.99・・・・5 2023/01/01 01:01:01
1.1.1.1 99.98・・・・5 2023/01/01 01:01:01
1.1.1.1 99.97・・・・5 2023/01/01 01:01:01
1.1.1.1 99.96・・・・5 2023/01/01 01:01:01
・・・・（略）・・・・
1.1.1.4 99.99・・・・5 2023/01/01 01:01:01
1.1.1.4 99.98・・・・5 2023/01/01 01:01:01
1.1.1.4 99.97・・・・5 2023/01/01 01:01:01
1.1.1.4 99.96・・・・5 2023/01/01 01:01:01

Comments

[can110]

「for data in df.itertuples():」でのdfと、そのループ中で
「df = pd.json_normalize(json_data["data"])」と代入しているのは
意図通りでしょうか？
同じdfという変数を使っているあたりに混乱があるような気がします。

[msy47]

can110さん
ご指摘ありがとうございます。
これ、まずいのでしょうかそこが理解できておらず。
その後のdf.insertを使用するためにまずはjsonをdfにデータとして入れて上げる必要があるのかなと言う認識でした。

取得した結果に、時間(datetime)と、dviceid(デバイスIP)をデバイスごとにつけたいためです。

[msy47]

＞「for data in df.itertuples():」でのdf
→deviceidを取得するためのdfです
deviceId system_ip・・・bdfSessionsUp bfdSessions
1.1.1.1 1.1.1.1 ・・・ 8 8
1.1.1.2 1.1.1.2 ・・・ 8 8
1.1.1.3 1.1.1.3 ・・・ 8 8
1.1.1.4 1.1.1.4 ・・・ 8 8

＞そのループ中で
＞「df = pd.json_normalize(json_data["data"])」
→device_list = session.post(~
を受けて、json_data = device_list.json()を入れ込むためなので

全然別物でした！？
なんかできそうな気がします。。。

[can110]

別物は別の変数で扱わないと混乱するので、一度そのあたりを整理すると解決へ進めるかと思います。

[msy47]

can110さん
ご助言ありがとうございます！

以下で、printではデバイスごとのトンネルステータスを確認できたのですが、その結果をcsvへ入れることができずにいます。再度、ご助言いただきたく。

修正した箇所

```107
if device_list.status_code == 200:
if分にいかを追加
```

```120-123
df.insert(0, 'System_ip', data[1])
df['df'] = datetime.now(),strftime('%Y%m%d% %H:%M:%S')
c = df.pop('dt')
df.insert(df.shape[1], c.name, c)
```

```fix_107
if device_list.status_code == 200:
json_data = device_list.json()

df2 = pd.json_normalize(json_data["data"])

#先頭にsystemip
df2.insert(0, 'System_ip', data[1])
#末尾にdatetime
df2['df'] = datetime.now(),strftime('%Y%m%d% %H:%M:%S')
c = df2.pop('dt')
df.insert(df2.shape[1], c.name, c)

print("df2")
print(df2)

else:
print(device_list.status_code)
```

問題

29行目の Tunnel_level_quality_analysis_df = get_request(vmanage_info_df)
以上の一文でget_request(vmanage_info_df)をcsvに入れると認識しているのですが、
csvの結果が

91行目のdf = df[["deviceId", "system-ip", "host-name", "device-model", "bfdSessionsUp", "bfdSessions"]]
の結果しか入っていない状況です。

[can110]

とりあえずこの欄は修正依頼のやり取り用の欄であり、
コードも正しく表示されないので質問本文に反映させたほうがよいです。

[msy47]

can110さん
ご指摘ありがとうございます。
修正後の結果と、現時点の問題を修正・追記いたしました。

Answer 1

全体的な処理の流れを完全に把握できていませんが、提示コードでのdf2を行方向に１つにまとめたいということであれば、以下のような感じで各df2をリストに貯めておき、最後にconcatで結合してやればよいです。
なお、提示された想定結果では見出し行が複数行存在しますが、提示コードでは最後にto_csvを１回しか読んでいないので、見出し行も先頭１行だけとなります。

import pandas as pd

def get_request():

    dfs = []
    for i in range(3):
        # 何らかの処理でdf2を作成
        df2 = pd.DataFrame({'v1':[i,i*10]})
        dfs.append(df2)

    df_ret = pd.concat(dfs).reset_index(drop=True)
    return df_ret

df_ret = get_request()
print(df_ret)
"""
   v1
0   0
1   0
2   1
3  10
4   2
5  20
"""

Comments

[msy47]

can110さん
ご回答ありがとうございます！現在、試行錯誤して組み込んでおります。

質問なのですが、
組み込み箇所としては
def get_request():　は　def get_request(vmanage_info_df):　の位置
という認識で間違いないでしょうか。

＞# 何らかの処理でdf2を作成
というのか
for row in vmanage_info_df.itertuples():　からなのか
for data in df.itertuples():　からなのか
1つ目の認識ですが、間違いないでしょうか。

[can110]

> 組み込み箇所としては～
はい。
> ～からなのか～
dfs = []は関数呼び出しの先頭
dfs.append(df2)は質問コードでのprint(df2)してるところ
最後のconcatは関数末尾
という想定での回答となります。

[msy47]

can110さん
回答いただいたソースを反映したのですが
→該当のソースコード(回答を反映

print(df_ret)も表示されず
反映方法が間違っているのでしょうか

[can110]

「if device_list.status_code = 200:」などあきらかにおかしい部分があります。
まずはしっかりとデバッグして、既存の動作（各df2が作成できる）までができたあとに
回答分を反映させてください。

[msy47]

can110さん
ソースの間違い、見づらさ申し訳ありません。当方事情により目視で手移ししている次第です。

現在の「該当のソースコード(df2はprintで確認_回答反映」については
df2でlog上では「発生している問題・エラーメッセージ」が出力されている状態です。

しかし
137,138行目の以下を、コメントアウトを外した場合エラーとなります。
#df_ret = get_request(vmanage_info_df)
#print(df_ret)
エラー
NameError: name 'vmanage_info_df' is not defined
となりました。

追記となります。
124行目のdf2 = pd.dataFrame({'v1' :[i, i*10]})をいれるとエラーが発生します。
コメントアウトすると動作します。
エラー
"module 'pandas' hs no attribute 'dataFrame'"
→こちらスペルミスでした。 pd.dataFrame→ pd.DataFrame

[can110]

> 当方事情により目視で手移ししている次第です。

まずはローカルで実行でき、動作をデバッグできるテスト的な環境を用意しましょう。
API呼出などテスト環境で動かせない部分は、テストデータを返す関数なりを呼ぶように差し替えればよいです。

そのテスト環境で
「Web上の既存のものと同じ動作ができて（意図とは異なるが）同じ結果データができる」
といったところまで実現できたあとに回答分を反映するようにしないと
現状のトライアンドエラーを繰り返す状況では解決は困難かと思います。

[msy47]

can110さん
言い訳失礼しました。

ご回答頂いた件について補足いただきたく思います。
====
# 何らかの処理でdf2を作成
df2 = pd.DataFrame({'v1':[i,i*10]})
====

以下の部分がdf2に入る結果とロジックと認識しております。間違いないでしょうか。
print(df2)のdf2が必要な結果、追加していく結果。
====
if device_list.status_code == 200:
json_data = device_list.json()

df2 = pd.json_normalize(json_data["data"])

#先頭にsystemip
df2.insert(0, 'System_ip', data[1])
#末尾にdatetime
df2['df'] = datetime.now(),strftime('%Y%m%d% %H:%M:%S')
c = df2.pop('dt')
df.insert(df2.shape[1], c.name, c)

print("df2")
print(df2)
====

以下のような認識は間違いでしょうか。そうなるとfor i in range(3):の意味がなくなってしまいますね。・・・

====
df2 = pd.DataFrame(df2)
====

[can110]

回答コードは動作の流れを説明するためのものなので
forループの回数やdf2の中身など、具体的な意味はないです。
質問コードでdf2が複数個できあがるなら、回答コードのように連結すればよいということです。

[msy47]

can110さん
思考停止しておりました。必要な結果を出力することができました！ありがとうございます！
~~~
>回答コードは動作の流れを説明するためのものなので
>forループの回数やdf2の中身など、具体的な意味はないです。
>質問コードでdf2が複数個できあがるなら、回答コードのように連結すればよいということです。
~~~