常連

##分からない事
bitFlyerのRelTimeApi をwebsocketを使用した際の書き方が分かりません。

##困っている点
なぜ接続ができないのかが分からず、何をとっかかりに調べればよいのかがわかりません。

###調べた事
以下のようなミニマムコードのプログラムを作成しました。

```python
import websocket
import json
import pprint
import time

class RealtimeAPI(object):

    def __init__(self,url,channel):
        self.url = url
        self.channel = channel
        self.ws = websocket.WebSocketApp(self.url,header=None,on_message=self.on_message,\
                                        on_open=self.on_open,on_close=self.on_close,on_error=self.on_error)
        # websocket.enableTrace(True)

    def run(self):
        self.ws.run_forever()

    def on_message(self,message):
        message = json.loads(message)
        print(message)

    def on_error(self,error):
        print(error)

    def on_open(self):
        print("websocket connection started.")
        ws.send(json.dumps({"method": "subscribe","params": {"channel": self.channel}}))

    def on_close(self):
        print("###websocket connection closed.###")

if __name__ == "__main__":
    url = "wss://ws.lightstream.bitflyer.com/json-rpc"
    channel = "lightning_executions_FX_BTC_JPY"
    json_rpc = RealtimeAPI(url=url,channel=channel)
    json_rpc.run()
```

実行したところ、以下のようなエラーが発生しました。
> [WinError 10060] 接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。

理由はわかりませんが、on_openメソッドを通っていないようです。


次に、
[https://github.com/websocket-client/websocket-client](https://github.com/websocket-client/websocket-client) にある以下のサンプルコードを実行してみました。


```python
import websocket
try:
    import thread
except ImportError:
    import _thread as thread
import time

def on_message(ws, message):
    print(message)

def on_error(ws, error):
    print(error)

def on_close(ws):
    print("### closed ###")

def on_open(ws):
    def run(*args):
        for i in range(3):
            time.sleep(1)
            ws.send("Hello %d" % i)
        time.sleep(1)
        ws.close()
        print("thread terminating...")
    thread.start_new_thread(run, ())

if __name__ == "__main__":
    websocket.enableTrace(True)
    ws = websocket.WebSocketApp("ws://echo.websocket.org/",
                              on_open = on_open,
                              on_message = on_message,
                              on_error = on_error,
                              on_close = on_close)

    ws.run_forever()
```

このプログラムを実行したところ、
> Hello 0
> send: b'\x81\x87Tm\x8fm\x1c\x08\xe3\x01;M\xbe'
> Hello 1
> send: b'\x81\x87\n\xce\x06\xa7B\xabj\xcbe\xee4'
> Hello 2
> send: b'\x88\x82\xb1\x9f)\xc4\xb2w'
> closed ###
> thread terminating...

と出力されうまく通信が出来ているようでした。

そこで、
[https://bf-lightning-api.readme.io/docs/endpoint-json-rpc](https://bf-lightning-api.readme.io/docs/endpoint-json-rpc) に記載されているエンドポイント（wss://ws.lightstream.bitflyer.com/json-rpc）に書き換えて実行してみました。

```python
if __name__ == "__main__":
    websocket.enableTrace(True)
    ws = websocket.WebSocketApp("wss://ws.lightstream.bitflyer.com/json-rpc",
                              on_open = on_open,
                              on_message = on_message,
                              on_error = on_error,
                              on_close = on_close)

    ws.run_forever()
```

先ほどと同じく、以下のエラーが出力されるかつ、on_openメソッドすら実行されません。
> [WinError 10060] 接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。

これは何が問題なのでしょうか。

【python】bitFlyerのWebSocketを使用した通信が接続されない

###前提・実現したいこと
初歩的な事で恐縮ですが、CCXTでBitflyerに出した注文を管理したいです。
###発生している問題・エラーメッセージ
```
C:\Users\user\program>python program.py
[]
```
予め指値で注文を入れ、未約定の状態で実行しました。
表示されるのは　[]　のみでエラーなのかすら判別できません。

###該当のソースコード
```
import ccxt
from pprint import pprint

bitflyer = ccxt.bitflyer()
bitflyer.apiKey = "XXXXXXXXXXXXXXXXXXX" #APIKEY
bitflyer.secret = "XXXXXXXXXXXXXXXXXXX" #APISECRET

orders = bitflyer.fetch_open_orders(
	symbol = "BTC/JPY",
	params = { "product_code" : "FX_BTC_JPY" })
pprint( orders )
```

###自分で調べたことや試したこと
fetch_ordersでも同様 [] が返ってくるのみでした。

###使っているツールのバージョンなど補足情報
python3.8
windows10 62bit
エディタはAtomを使用しています。

python3 bitcoin ccxt bitflyer （約定・未約定）注文情報の取得

取引所から、過去のローソク足データを取得するにあたり、下記のコードを実行しました。
しかし、
2017/09/07以前のデータについて、2017/08/17-2017/09-07が永遠とループされます。
（＜画像1＞参照。X軸15000以前が不自然にループされる。）
原因は何だと考えられるでしょうか。

また、デフォルトの取引所（binance）以外の別の取引所、例えばbitbankやbitflyerからBTC/JPYペアのデータを取得するため、
下記コードを
exchange = ccxt.bitflyer()
symbol = "BTC/JPY"
として実行してみたところ、今度は、＜画像２＞のような結果となりました。

よろしければ、考えられる原因を教えていただけないでしょうか。


```
import ccxt
import pandas as pd
import matplotlib.pyplot as plt
import datetime
from time import sleep
# 一度にとれるろうそく足は500本までなので、分けて取得する
def get_past_data_from_server(exchange,data_n,data_m,bar,barsymbol,symbol):
   pastdata = pd.DataFrame([])
   # 一度のAPIコールでとれるろうそく足は500本までなので、分けて取得する
   # 過去データの取得
   for i in range(0, data_m):
       sleep(0.001)
       data = get_past_data(exchange,data_n * (data_m - i),bar,barsymbol,symbol)
       data.index = list(range(len(pastdata), len(pastdata) + len(data)))
       pastdata = pd.concat([pastdata, data])
   return pastdata
def get_past_data(exchange,period,bar,barsymbol,symbol):
   while(True):
       try:
           timest = exchange.fetch_ticker(symbol)['timestamp']
           period += 1
           timest = timest - period*bar*60*1000
           candles = exchange.fetch_ohlcv(symbol, timeframe=barsymbol, since=timest)
           pd_candles = pd.DataFrame(candles)
           break
       except Exception as e:
           print(e)
           print("データの取得に失敗しました")
           sleep(5)
           continue
   return pd_candles

# 取引所binanceを指定
exchange = ccxt.binance ()
# 通貨ペアの設定
symbol = "BTC/USDT"
# 何分足?
bar = 60
barsymbol = '1h'
# data_n*data_m本のろうそく足を取得
# data_nはbinanceでは500に固定
data_n = 500
data_m=80
data = get_past_data_from_server(exchange,data_n,data_m,bar,barsymbol,symbol)

# unixtime(ミリ秒)を日時に変換
for i in range(0,len(data)):
    data[0][i]= datetime.datetime.fromtimestamp(data[0][i]/1000)

plt.plot(data[4])
plt.show()

data.to_csv("binance_btc_usdt_1h.csv", header=False, index=False)


#https://note.com/mocchi999/n/n44da0e74a68a で紹介されているコードを使用させて頂きました
```
＜画像１＞
![イメージ説明](96c693d52dd8c7736b118c3869147c44.png)

＜画像２＞
![イメージ説明](52dda33ed95176ffb0801510f3f43dc3.png)

取引所のチャートデータをAPIで取得

### 前提

bitflyer Realtime APIに、websocketで接続して得たデータを変数に格納するために
試行錯誤しましたが、やり方がわかりませんでした

### 実現したいこと

bitflyer Realtime APIに、websocketで接続して得たデータを変数に格納する

### 発生している問題・エラーメッセージ

--- Logging error ---
Traceback (most recent call last):
  File "/Users/a1/opt/anaconda3/envs/m/lib/python3.9/site-packages/websocket/_app.py", line 383, in run_forever
    dispatcher.read(self.sock.sock, read, check)
  File "/Users/a1/opt/anaconda3/envs/m/lib/python3.9/site-packages/websocket/_app.py", line 64, in read
    r = self.select()
  File "/Users/a1/opt/anaconda3/envs/m/lib/python3.9/site-packages/websocket/_app.py", line 78, in select
    r = sel.select(self.ping_timeout)
  File "/Users/a1/opt/anaconda3/envs/m/lib/python3.9/selectors.py", line 562, in select
    kev_list = self._selector.control(None, max_ev, timeout)
KeyboardInterrupt

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/Users/a1/opt/anaconda3/envs/m/lib/python3.9/site-packages/websocket/_app.py", line 424, in _callback
    callback(self, *args)
TypeError: on_close() takes 2 positional arguments but 4 were given

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/Users/a1/opt/anaconda3/envs/m/lib/python3.9/logging/__init__.py", line 1086, in emit
    stream.write(msg + self.terminator)
AttributeError: 'int' object has no attribute 'write'
Call stack:
  File "/Users/a1/Desktop/ml/main.py", line 14, in <module>
    json_rpc = RealtimeAPI(url=url, channel=channel)
  File "/Users/a1/Desktop/ml/bitflyer.py", line 15, in __init__
    self.connect()
  File "/Users/a1/Desktop/ml/bitflyer.py", line 22, in connect
    self.ws.run_forever()
  File "/Users/a1/opt/anaconda3/envs/m/lib/python3.9/site-packages/websocket/_app.py", line 390, in run_forever
    teardown()
  File "/Users/a1/opt/anaconda3/envs/m/lib/python3.9/site-packages/websocket/_app.py", line 318, in teardown
    self._callback(self.on_close, close_status_code, close_reason)
  File "/Users/a1/opt/anaconda3/envs/m/lib/python3.9/site-packages/websocket/_app.py", line 429, in _callback
    self.on_error(self, e)
  File "/Users/a1/Desktop/ml/bitflyer.py", line 35, in on_error
    logger.error(error)
Message: TypeError('on_close() takes 2 positional arguments but 4 were given')
Arguments: ()

### 該当のソースコード

使用言語　python3.9

コード　ファイル名　bitflyer.py
```
import logging
import websocket
import json

import pybitflyer

logger = logging.getLogger(__name__)#logging
ticker_data = 0#追記

class RealtimeAPI(object):

    def __init__(self, url, channel):
        self.url = url
        self.channel = channel
        self.connect()

    def connect(self):
        self.ws = websocket.WebSocketApp\
            (self.url,header=None,on_open=self.on_open,\
                 on_message=self.on_message, on_error=self.on_error,\
                     on_close=self.on_close)
        self.ws.run_forever()
        logger.info('Web Socket process ended.')

    """
    Below are callback functions of websocket.
    """
    # when we get message
    def on_message(self, ws, message):
        resp = json.loads(message)['params']['message']
        self.set_realtime_ticker(resp)

    # when error occurs
    def on_error(self, ws, error):
        logger.error(error)

    # when websocket closed.
    def on_close(self, ws):
        logger.info('disconnected streaming server')

    # when websocket opened.
    def on_open(self, ws):
        logger.info('connected streaming server')
        input_data = json.dumps(
            {'method' : 'subscribe',
            'params' : {'channel' : self.channel}
            }
        )
        ws.send(input_data)

    def set_realtime_ticker(self, resp):
        timestamp = resp['timestamp']
        product_code = resp['product_code']
        volume = float(resp['volume'])
        ticker = [product_code, timestamp, volume]
        print(ticker)
        logger.info(f'ticker={ticker}')

        global ticker_data#追記
        ticker_data = ticker#追記

print(ticker_data)#ここにAPIから入ってくるtickerのデータを入れたいです

---------------------------------ここからもう一つのファイル---------------------------------------
#ファイル名　main.py
import logging
import sys

from bitflyer import RealtimeAPI

logging.basicConfig(level=logging.INFO, stream=sys.stdout)
# logging.basicConfig(level=logging.INFO, stream=a)
#ログレベル INFO　出力先　stream=sys.stdout

if __name__ == "__main__":
    url = "wss://ws.lightstream.bitflyer.com/json-rpc"
    channel = "lightning_ticker_FX_BTC_JPY"
    json_rpc = RealtimeAPI(url=url, channel=channel)


------------------------------コードはここまで---------------------------------------

### 試したこと

①ファイル名bitflyer.pyのdef set_realtime_tickerにあるtickerをグローバル変数にした
②ファイル名　main.pyのlogging.basicConfigにあるstream=変数にした

### 補足情報（FW/ツールのバージョンなど）
Visual Studio Codeを使用しています

ここにより詳細な情報を記載してください。

よろしくお願いいたします

bitflyer Realtime APIに、websocketで接続して得たデータを変数に格納する

CryptowatchというサイトのAPIを使用し、
bitflyerという取引所から過去のローソク足データを取得したく。
下記コード（１分足のローソク足データを取得）を実行したところ、
★で、10日前からの1分足ローソク足データを指定したにも関わらず
一度に約6000程度（= つまり4日分程度）の１分足ローソク足データしかCSV保存できません。

取引所のデータベース上に存在する すべての １分足ローソク足のデータ（つまり、存在する最古のデータ～現在のデータ）
を取得するには
どのようにコードを書き換えればよいでしょうか。
是非アドバイスをお願いいたします。

ちなみに、cryptowatchのAPI使用方法については、[こちらのQiita](https://qiita.com/iw_at_t/items/73e3201aa091a04ff248#marketsexchangepairohlc------%E3%83%AD%E3%83%BC%E3%82%BD%E3%82%AF%E8%B6%B3--)に掲載されています。


```
import requests
import time
import pandas as pd
from datetime import datetime

# *************************************************************************
# 関数ローソク足のOpen, High, Low, Closeを取得する関数
def get_OHLC(before, after):
    url = 'https://api.cryptowat.ch/markets/bitflyer/btcjpy/ohlc'
    query = {
        'periods': 60,
        'before': before,
        'after': after,
    }
    res = requests.get(url, params=query).json()['result']['60']
    return res


# unixtime(ミリ秒)を日時に変換
def convert_unix(unixtime):
    return datetime.fromtimestamp(unixtime)


unixTime = lambda y, m, d, h: int(time.mktime(datetime(y, m, d, h).timetuple()))

now = datetime.now()
y, m, d, h = now.year, now.month, now.day, now.hour


data = get_OHLC(unixTime(y, m, d, h), unixTime(y, m, d - 10, h))　　　　★
print(data)

Time, Open, High, Low, Close, Volume, UTCTime = [], [], [], [], [], [], []

# *************************************************************************
# Unix→UTCへ変換
unix = [x[0] for x in data]
print("unix : ", unix)

YYYYMMDD = []
for j in unix:
    yyyymmdd = convert_unix(j)
    print(str(yyyymmdd))
    YYYYMMDD.append(str(yyyymmdd))
print(YYYYMMDD)

for i in data:
    # print(i)
    Time.append(i[0])
    Open.append(i[1])
    High.append(i[2])
    Low.append(i[3])
    Close.append(i[4])
    Volume.append(i[5])
    UTCTime.append(i[6])

pd.DataFrame({'time': Time, 'open': Open, 'high': High, 'low': Low, 'close': Close, 'volume': Volume,
              'UTCTime': YYYYMMDD}).to_csv('price.csv')


```

CryptowatchのAPIを使用し、取引所の過去チャートデータを取得

閲覧ありがとうございます。

Pythonで、ccxtから板情報を1秒ごとに取得し、1時間ごとcsvに出力するとというプログラムを書いています。

コードは以下になるのですが、型変換の部分が違うのかデータが取り出せません。

初心者なのでおかしな部分が多々あるかもしれませんが、お分かりになる方がいらっしゃればご助言いただきたいです。
よろしくお願いいたします。

```python
import ccxt
import time
from datetime import datetime as dt
import pandas as pd
import json
import os
import requests
import json

#ccxtから取引所を読み込む
exchange = ccxt.bitflyer()
exchange.load_markets()
#通貨ペア
symbol = 'BTC/JPY'
order_book = exchange.fetch_order_book(symbol)
#スリープ秒数
sleep_t = 1
#板の深さ
depth = 5

#板データ取得
def get_board():
    data = order_book
    #jsonデータを辞書型へ変換
    board = json.loads(data.text)
    #現在時刻の取得
    dict_data = {'time' : dt.now()}
    dict_data.update({'ask_price_{}'.format(i) : board['asks'][i]['price'] for i in range(depth)})
    dict_data.update({'ask_price_{}'.format(i) : board['asks'][i]['size'] for i in range(depth)})
    dict_data.update({'bid_price_{}'.format(i) : board['bids'][i]['price'] for i in range(depth)})
    dict_data.update({'bid_price_{}'.format(i) : board['bids'][i]['size'] for i in range(depth)})
    #辞書型をpandas seriesに変換
    return pd.Series(dict_data)

#ループ処理
def get_coin_board():
    init_time = dt.now()
    end_time = dt.now()
    print('START /', init_time)
    main_list = []
    while (end_time - init_time).seconds < 3600:
        try:
            #jsonデータをpandas seriesへ変換
            dict_data = get_board()
            #pandas seriesをリストへ追加
            main_list.append(dict_data)
        except Exception as e:
            print('exception: ',e.args)
        time.sleep(sleep_t)
        end_time = dt.now()
    #pandas seriesのリストを結合
    df_data = pd.concat(main_list, axis=1).T
    df_data.to_csv('./data/exchange_hourly_board_day_{}_init_{}_{}_end_{}_{}.csv'.format(init_time.day, init_time.hour, init_time.minute, end_time.hour, end_time.minute))
    print('END /', end_time)
    
if __name__ == '__main__':
    if not os.path.exists('./data'):
        os.mkdir('./data')
    while True:
        try:
            get_coin_board()
        except Exception as e:
            print('exception: ', e.args)
```


出力されたエラー
exception:  ("'dict' object has no attribute 'text'",)

 File "*******", line 62, in <module>
    get_coin_board()

  File "******", line 50, in get_coin_board
    time.sleep(sleep_t)

[Python]ccxtで取得した板情報を整理してcsvに出せない

Python初心者です。
bitflyerのAPIを使って、bitflyerの残高を取得したいです。

ネットの記事を参考に、一応残高を取得することは出来たのですが、保有していないコインの情報も一緒に取得してしまうので、amountが０じゃなかったらという条件付きで要素を取り出したいです。

一応自分でも書いてみましたが、SyntaxError: invalid syntaxになってしまいました。

どのように書き換えれば、保有しているコインの情報だけを(amountが０でない）要素を取得できるでしょうか。
開発環境はpython3.8.8です。jupyter notebookを使って書いていますが、Flaskを使ってWebアプリケーション形式にすることを想定しています。
個人情報保護のため、API_KEYとSECRETは削除しています！

＊追記情報＊
HTMLのformからvalueを受けとって、受け取った値によって条件分岐させる構造です。
get_balanceという関数を同ファイルに書いて、イベントが起こった時に呼び出す形になっています。
データを取得に成功したらHTMLに表示させるつもりなので、取得した値は変数に入れたいです。

```Python
import pybitflyer
import time
from datetime import datetime
from pytz import timezone
from dateutil import parser

BALANCE_KEYS = ["currency_code",
                "amount",
                "available"]

API_KEY = ""
API_SECRET = ""


if __name__ == '__main__':
    api = pybitflyer.API(api_key = API_KEY, api_secret = API_SECRET)

    balances = api.getbalance(product_code="BTC_JPY")

    for balance in balances:
        for balance_key in BALANCE_KEYS:
            if(BALANCE_KEY[1]=!0)
            print(balance_key + " : " + str(balance[balance_key]))
        print("=================================================")



``````Python
コード
```

import pybitflyer
from flask import Flask, render_template,request
import time
from datetime import datetime
import json
from dateutil import parser
from pytz import timezone



BASE_URL ="https://api.bitflyer.jp"
url = BASE_URL + "POST /v1/me/sendchildorder"

API_KEY = ""
API_SECRET =""
api = pybitflyer.API(API_KEY,API_SECRET)



nounce =str(int(time.time()))

app = Flask(__name__)

#残高を取得する関数
def get_balance():
   
    BALANCE_KEYS =["currency_code",
            "amount",
            "available"]

    balances =api.getbalance(product_code="BTC_JPY")
  
    for balance in balances:
        if balance ["amount"] == 0:
            continue
        for balance_key in BALANCE_KEYS:
            print(balance_key + " : " + str(balance[balance_key]))
        print("=================================================")

  
@app.route("/order",methods=["POST"])
#受け取った値に応じて関数を呼び出し
def receive_market():
    order_type = request.form.get('order_type')
    if order_type == "buy_market": 
        #成行買い
        buy_btc=api.sendchildorder(
    
                            product_code ="XRP_JPY",
                             child_order_type="MARKET",
                             side="BUY",
                             size=0.1,
                             minute_to_expire=1000,
                             time_in_force="GTC"
                             )

    elif order_type == "sell_market":
      #成行売り
     sell_btc=api.sendchildorder(
          
                            product_code ="XRP_JPY",
                             child_order_type="MARKET",
                             side="SELL",
                             size=0.1,
                             minute_to_expire=1000,
                             time_in_force="GTC"
       
    elif order_type =="get_balance":
     get_balance()
```


```エラー文
if balance ["amount"] == 0:
TypeError: string indices must be integers

```

pythonでリスト要素の一部を取得

プログラムを実行した際に、以下のようなメッセージが出ます。
処理はできてるようなのですが、Reloaded modulesが出たり出なかったりします。
これは何か対処が必要なものでしょうか？
また、プログラムを実行したらcsvでデータが吐き出されるはずが何も出ません。
お分かりになる方がいらっしゃいましたらアドバイスいただけると幸いです。
よろしくお願いいたします。

---実行したときにでるメッセージ---
Reloaded modules: coinapi_rest_v1
len:  0
2020-10-04 15:45:18.163309 作業中
2020-10-04 15:45:18.163309 作業完了



---プログラムコード---

import requests,time, datetime, calendar, os, sys
import urllib.request
import json
from coinapi_rest_v1 import CoinAPIv1
 #ご自分のAPIキーに差し替え
test_key = '**********'

api = CoinAPIv1(test_key)
exchanges = api.metadata_list_exchanges()

def write(path, fileName, filemode, Msg):
   
   try:
       path = os.path.join(path, fileName)
       with open(path, mode=filemode, encoding="utf-8") as f:
           f.write(Msg)
       
   except Exception as e:
       print(str(TimeCurrent()), " Exception => Output Write: ", fileName, str(e))

def writeFile(res, path, file_Name):
   
   try:
       for i in range(len(res)):

           timeVal = res[i]['time_period_start']
           timestmp = timeRegex(timeVal)

           _O = res[i]['price_open']
           _H = res[i]['price_high']
           _L = res[i]['price_low']
           _C = res[i]['price_close']

           val = "{0};{1};{2};{3};{4}{5}".format(timestmp, str(_O), str(_H), str(_L), str(_C), "\n")

           write(path, file_Name, "a", val)
           
       print(str(TimeCurrent()), "作業中")
       
   except Exception as e:
       print("Exception => writeFile: " + str(e))

def timeRegex(timeVal):
   import re
   regex_1 = r'\d\d\d\d-\d\d-\d\d.\d\d:\d\d:\d\d'

   try:
       p1 = re.compile(regex_1)
       text = timeVal
       m1 = p1.match(text)
       src = m1.group()
       dst = src.replace('T', ' ')
       return dst

   except Exception as e:
       print("Exception => timeRegex: " + str(e))
       return "0000-00-00 00:00:00"

def TimeCurrent():
   now = datetime.datetime.now()
   return now

if __name__ == '__main__':

   #日付を指定する
   start_of = datetime.date(2020, 9, 2).isoformat()
   #例
   #ohlcv_historical = api.ohlcv_historical_data('BITFINEX_SPOT_BTC_USD', {'period_id': '1MIN', 'time_start': start_of, 'limit': 10000})
   
   ohlcv_historical = api.ohlcv_historical_data('BITFLYER_SPOT_BTC_JPY', {'period_id': '1SEC', 'time_start': start_of, 'limit': 10000})
   print("len: ", len(ohlcv_historical))
   
   #保存
   PATH = "K:\practice"
   FILE_NAME = "HistData_1.csv" #ファイル名
   
   writeFile(ohlcv_historical, PATH, FILE_NAME)

   print(str(TimeCurrent()), "作業完了")

bitFlyer API