[Python]ccxtで取得した板情報を整理してcsvに出せない

Question

閲覧ありがとうございます。

Pythonで、ccxtから板情報を1秒ごとに取得し、1時間ごとcsvに出力するとというプログラムを書いています。

コードは以下になるのですが、型変換の部分が違うのかデータが取り出せません。

初心者なのでおかしな部分が多々あるかもしれませんが、お分かりになる方がいらっしゃればご助言いただきたいです。
よろしくお願いいたします。

import ccxt
import time
from datetime import datetime as dt
import pandas as pd
import json
import os
import requests
import json

#ccxtから取引所を読み込む
exchange = ccxt.bitflyer()
exchange.load_markets()
#通貨ペア
symbol = 'BTC/JPY'
order_book = exchange.fetch_order_book(symbol)
#スリープ秒数
sleep_t = 1
#板の深さ
depth = 5

#板データ取得
def get_board():
    data = order_book
    #jsonデータを辞書型へ変換
    board = json.loads(data.text)
    #現在時刻の取得
    dict_data = {'time' : dt.now()}
    dict_data.update({'ask_price_{}'.format(i) : board['asks'][i]['price'] for i in range(depth)})
    dict_data.update({'ask_price_{}'.format(i) : board['asks'][i]['size'] for i in range(depth)})
    dict_data.update({'bid_price_{}'.format(i) : board['bids'][i]['price'] for i in range(depth)})
    dict_data.update({'bid_price_{}'.format(i) : board['bids'][i]['size'] for i in range(depth)})
    #辞書型をpandas seriesに変換
    return pd.Series(dict_data)

#ループ処理
def get_coin_board():
    init_time = dt.now()
    end_time = dt.now()
    print('START /', init_time)
    main_list = []
    while (end_time - init_time).seconds < 3600:
        try:
            #jsonデータをpandas seriesへ変換
            dict_data = get_board()
            #pandas seriesをリストへ追加
            main_list.append(dict_data)
        except Exception as e:
            print('exception: ',e.args)
        time.sleep(sleep_t)
        end_time = dt.now()
    #pandas seriesのリストを結合
    df_data = pd.concat(main_list, axis=1).T
    df_data.to_csv('./data/exchange_hourly_board_day_{}_init_{}_{}_end_{}_{}.csv'.format(init_time.day, init_time.hour, init_time.minute, end_time.hour, end_time.minute))
    print('END /', end_time)
    
if __name__ == '__main__':
    if not os.path.exists('./data'):
        os.mkdir('./data')
    while True:
        try:
            get_coin_board()
        except Exception as e:
            print('exception: ', e.args)

出力されたエラー
exception: ("'dict' object has no attribute 'text'",)

File "*******", line 62, in <module>
get_coin_board()

File "******", line 50, in get_coin_board
time.sleep(sleep_t)

Comments

[meg_]

エラーの発生元はどこでしょうか？ 例外処理を使用されているので、どの行が問題なのか分かりかねます。
[追記]
kairi003さんの回答を見ると「board = json.loads(data.text)」がエラー発生元のようですね。分かりました。

Answer 1

bitFlyerやcctxのことは何も分からないので恐縮ですが、「dataは辞書型だからtextなんて属性は持ってない」と言われています。
このdataはexchange.fetch_order_book(symbol)で取得したorder_bookで、text属性に文字列型のjsonを持っているとしているようですが、推察するにorder_bookの時点で既にjsonは辞書型に展開されていて、json.loadsは不要なのではないでしょうか？

型変換が気になるならidleで動かしてみたりtype()で型名をチェックして見るといいと思います。

Comments

[kei_124981]

ご回答ありがとうございます。
ご指摘の通り、抽出した時点で既に辞書型だったようです。

board = json.loads(data.text)
この部分を削除し、boardの部分をdataに書き直したところ、以下のメッセージが出てきてしまいました。
'list indices must be integers or slices, not str',

この場合、ccxtから送られてくるデータに適切にアクセスできていないということなのでしょうか？
str型に変換してみたりしたのですが、対処のしかたがわかりませんでした。

[kairi003]

多分どこか辞書型だと思ってる場所がリストです。
boardの中身の構造を一度確認し直したほうが良いと思います。
json.dumpsしてテキストファイルに書き出してエディタで見るか、pprintで見てみてください。