Python Dataframeのエラーについて

Question

前提・実現したいこと

apiを使いbitflyerのデータを取得しているのですが
一定時間がたつとエラーがかえってきてしまい、どのように対応したらいいかがわかりません。

発生している問題・エラーメッセージ

If using all scalar values, you must pass an index
whileのループで暫くは動作しているのですが、
５分くらい経つとエラーが発生します。

該当のソースコード

import pandas as pd
from datetime import datetime, timezone, timedelta
import pybitflyer
import time
import requests
import json
public_api = pybitflyer.API()
api = pybitflyer.API(api_key="API", api_secret="API")

while True:
bf_positions = pd.DataFrame(api.getpositions(product_code='FX_BTC_JPY')) #←ここでエラーが発生
local_pos = 'NONE'
local_pos_price = 0
if not(bf_positions.empty):
local_pos = bf_positions.ix[[0], ['side']].values.flatten()
local_pos_price = int(bf_positions.ix[[0], ['price']].values.flatten())

print(local_pos)
time.sleep(1)

補足情報（FW/ツールのバージョンなど）

Windows Server 2016
python3.7
numpy 1.15.4
pandas 0.23.4

※API制限はかかっていませんでした。
※別環境（Mac）では発生しません。

Comments

[can110]

api.getpositions(～)の戻り値はJSONデータだと推測しますが、それを提示ください。

[shinobu_777]

戻り値は以下です。よろしくお願いします。
[{'product_code': 'FX_BTC_JPY', 'side': 'BUY', 'price': 389073.0, 'size': 0.1, 'commission': 0.0, 'swap_point_accumulate': 0.0, 'require_collateral': 259.31689200, 'open_date': '2019-01-17T02:58:48.41', 'leverage': 15.0, 'pnl': 4.3289728, 'sfd': 0.0}]

[can110]

当方環境では１行１１列のDataFrameとして構築され、エラーは発生しませんでした。
エラー発生時の戻り値でしょうか？

[shinobu_777]

下記の結果となります。
python test.py
bit_test.py:17: DeprecationWarning:
.ix is deprecated. Please use
.loc for label based indexing or
.iloc for positional indexing

See the documentation here:
http://pandas.pydata.org/pandas-docs/stable/indexing.html#ix-indexer-is-deprecated
local_pos = bf_positions.ix[[0], ['side']].values.flatten()
bit_test.py:18: DeprecationWarning:
.ix is deprecated. Please use
.loc for label based indexing or
.iloc for positional indexing

See the documentation here:
http://pandas.pydata.org/pandas-docs/stable/indexing.html#ix-indexer-is-deprecated
local_pos_price = int(bf_positions.ix[[0], ['price']].values.flatten())
['BUY']
['BUY']
・・・（５分くらい繰り返し）
['BUY']
['BUY']
Traceback (most recent call last):
File "bit_test.py", line 13, in <module>
bf_positions = pd.DataFrame(api.getpositions(product_code='FX_BTC_JPY'))
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\core\frame.py", line 348, in __init__
mgr = self._init_dict(data, index, columns, dtype=dtype)
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\core\frame.py", line 459, in _init_dict
return _arrays_to_mgr(arrays, data_names, index, columns, dtype=dtype)
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\core\frame.py", line 7356, in _arrays_to_mgr
index = extract_index(arrays)
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\core\frame.py", line 7393, in extract_index
raise ValueError('If using all scalar values, you must pass'
ValueError: If using all scalar values, you must pass an index

[can110]

えーっと。提示されたものは何でしょうか？エラー発生時のTracebackでしょうかね？
まずはapi.getpositions(～)の戻り値が知りたいので
res = api.getpositions(～)
print(res)
bf_positions = pd.DataFrame(res)
という感じに修正して、エラー時のresの値を捕捉し提示ください。

[shinobu_777]

resの値は、
[{'product_code': 'FX_BTC_JPY', 'side': 'BUY', 'price': 389073.0, 'size': 0.1, 'commission': 0.0, 'swap_point_accumulate': 0.0, 'require_collateral': 259.31689200, 'open_date': '2019-01-17T02:58:48.41', 'leverage': 15.0, 'pnl': 4.3289728, 'sfd': 0.0}]
です。

[can110]

回答しました。
回答コードを実行し、質問者様の環境でのバージョンおよびエラーが発生するかを確認したうえで質問本文に追記ください。

Answer 1

５分くらい経つとエラーが発生します

のであれば 『bitFlyerのAPIからのレスポンスに問題が生じた』可能性が大きいかと思います。（何らかのエラーメッセージが返ってきたなどなど）

とりあえず、現状

bf_positions = pd.DataFrame(api.getpositions(product_code='FX_BTC_JPY'))

の箇所を

response = api.getpositions(product_code='FX_BTC_JPY')
try:
    bf_positions = pd.DataFrame(response)
except ValueError:
    print("ERROR: ", response)

のようにして、エラーが起こった際のレスポンスを確認してみると良いのではないでしょうか

Comments

[shinobu_777]

そうですね。APIからの戻り値がおかしいかもしれないので、確認してみます。
ありがとうございます。

Answer 2

以下のとおり当方環境では提示データにて正常に動作します。
質問者様の環境でのバージョンおよびエラーが発生するかを確認ください。

import sys
print(sys.version)
import pandas as pd
print(pd.__version__)
res = [{'product_code': 'FX_BTC_JPY', 'side': 'BUY', 'price': 389073.0, 'size': 0.1, 'commission': 0.0, 'swap_point_accumulate': 0.0, 'require_collateral': 259.31689200, 'open_date': '2019-01-17T02:58:48.41', 'leverage': 15.0, 'pnl': 4.3289728, 'sfd': 0.0}]
df = pd.DataFrame(res)
print(df)

3.5.6 |Anaconda custom (64-bit)| (default, Aug 26 2018, 16:05:27) [MSC v.1900 64 bit (AMD64)]
0.23.4
   commission  leverage               open_date       pnl          ...            sfd side  size  swap_point_accumulate
0         0.0      15.0  2019-01-17T02:58:48.41  4.328973          ...            0.0  BUY   0.1                    0.0

[1 rows x 11 columns]

Comments

[shinobu_777]

ありがとうございます。確認してみます。