為替レートのローソク足（始値、高値、安値、終値）を任意の時間で抽出したいのですが、、、

Question

プログラミング初学者です。
質問の仕方等、至らない点があるとは思いますが、多めに見ていただけると幸いです。
↓以下本文です。

為替レートのローソク足（始値、高値、安値、終値）から任意の時間（5分、10分等）でデータを抽出したく、下記のようにコードを組みました。

OHLC（始値、高値、安値、終値）のデータフレームは作成できたのですが、
def文で関数を定義するとうまく実行されません、、

エラー内容としましてはDataErrorが出力されており、
これはdataM1のデータフレームの作成方法に誤りがあるということなのでしょうか。
それとも関数定義の仕方が間違っているのでしょうか。

以下に参考にしたページを載せさせて頂きました。
詳しい方、ご教示頂けないでしょうか。
よろしくお願いいたします。

参考ページ
csvファイル参照

---

以下、ppaulさんに回答頂いた内容について実践してみた内容となります。

どこかに数字ではないデータが入っている可能性があるということで、
ppaulさんに私的頂いたdtypeにてデータ型の確認を行ったところ、
以下のような結果が得られました。

print(dataM1['Open'].dtype)
print(dataM1['High'].dtype)
print(dataM1['Low'].dtype)
print(dataM1['Close'].dtype)
print(dataM1['A'].dtype)
print(dataM1['f'].dtype)

float64
float64
float64
float64
object
int64

この結果より、Aの列に数字でないデータが入っている可能性があるということで、
ヒストリカルデータを別のサイトから取得し、同様に実行してみました。
参照データ
以下dtypeでの実行結果です。

print(dataM1['Open'].dtype)
print(dataM1['High'].dtype)
print(dataM1['Low'].dtype)
print(dataM1['Close'].dtype)
print(dataM1['A'].dtype)
print(dataM1['f'].dtype)

float64
float64
float64
float64
object
int64

やはりAの列でobjectが表示されてしまいます。
（無料ダウンロードのデータだと効率よく使用できないようになっている、、？

---

#pandasとnumpyをインポート
import pandas as pd
import numpy as np

#OHLCのデータフレーム作成
dataM1 = pd.read_csv('data.csv' , names = ('A','Open','High','Low','Close','F'))
dataM1.index = pd.to_datetime(pd.Series(dataM1.index)+' '+dataM1.reset_index()['A'])
dataM1.index.name = 'Time'
dataM1.drop(['A','F'] , axis=1).head()

#マルチタイムフレームの作成
def make_mtf_ohlc(dataM1, tf):
    x = dataM1.resample(tf).ohlc()
    O = x['Open']['open']
    H = x['High']['high']
    L = x['Low']['low']
    C = x['Close']['close']
    ret = pd.DataFrame({'Open': O, 'High': H, 'Low': L, 'Close': C},
                       columns=['Open','High','Low','Close'])
    return ret.dropna()

ohlc_1h = make_mtf_ohlc(dataM1, '1H')
ohlc_1h

#エラー内容
DataError                                 Traceback (most recent call last)
<ipython-input-4-5bc21324f74e> in <module>
      9     return ret.dropna()
     10 
---> 11 ohlc_1h = make_mtf_ohlc(dataM1, '1H')
     12 ohlc_1h

<ipython-input-4-5bc21324f74e> in make_mtf_ohlc(dataM1, tf)
      1 def make_mtf_ohlc(dataM1, tf):
----> 2     x = dataM1.resample(tf).ohlc()
      3     O = x['Open']['open']
      4     H = x['High']['high']
      5     L = x['Low']['low']

~/anaconda3/lib/python3.7/site-packages/pandas/core/resample.py in f(self, _method, *args, **kwargs)
    863     def f(self, _method=method, *args, **kwargs):
    864         nv.validate_resampler_func(_method, args, kwargs)
--> 865         return self._downsample(_method)
    866     f.__doc__ = getattr(GroupBy, method).__doc__
    867     setattr(Resampler, method, f)

~/anaconda3/lib/python3.7/site-packages/pandas/core/resample.py in _downsample(self, how, **kwargs)
   1018         # we want to call the actual grouper method here
   1019         result = obj.groupby(
-> 1020             self.grouper, axis=self.axis).aggregate(how, **kwargs)
   1021 
   1022         result = self._apply_loffset(result)

~/anaconda3/lib/python3.7/site-packages/pandas/core/groupby/generic.py in aggregate(self, arg, *args, **kwargs)
   1313     @Appender(_shared_docs['aggregate'])
   1314     def aggregate(self, arg, *args, **kwargs):
-> 1315         return super(DataFrameGroupBy, self).aggregate(arg, *args, **kwargs)
   1316 
   1317     agg = aggregate

~/anaconda3/lib/python3.7/site-packages/pandas/core/groupby/generic.py in aggregate(self, arg, *args, **kwargs)
    184 
    185         _level = kwargs.pop('_level', None)
--> 186         result, how = self._aggregate(arg, _level=_level, *args, **kwargs)
    187         if how is None:
    188             return result

~/anaconda3/lib/python3.7/site-packages/pandas/core/base.py in _aggregate(self, arg, *args, **kwargs)
    354         if isinstance(arg, compat.string_types):
    355             return self._try_aggregate_string_function(arg, *args,
--> 356                                                        **kwargs), None
    357 
    358         if isinstance(arg, dict):

~/anaconda3/lib/python3.7/site-packages/pandas/core/base.py in _try_aggregate_string_function(self, arg, *args, **kwargs)
    310         if f is not None:
    311             if callable(f):
--> 312                 return f(*args, **kwargs)
    313 
    314             # people may try to aggregate on a non-callable attribute

~/anaconda3/lib/python3.7/site-packages/pandas/core/groupby/groupby.py in ohlc(self)
   1317 
   1318         return self._apply_to_column_groupbys(
-> 1319             lambda x: x._cython_agg_general('ohlc'))
   1320 
   1321     @Appender(DataFrame.describe.__doc__)

~/anaconda3/lib/python3.7/site-packages/pandas/core/groupby/generic.py in _apply_to_column_groupbys(self, func)
   1490             (func(col_groupby) for _, col_groupby
   1491              in self._iterate_column_groupbys()),
-> 1492             keys=self._selected_obj.columns, axis=1)
   1493 
   1494     def _fill(self, direction, limit=None):

~/anaconda3/lib/python3.7/site-packages/pandas/core/reshape/concat.py in concat(objs, axis, join, join_axes, ignore_index, keys, levels, names, verify_integrity, sort, copy)
    226                        keys=keys, levels=levels, names=names,
    227                        verify_integrity=verify_integrity,
--> 228                        copy=copy, sort=sort)
    229     return op.get_result()
    230 

~/anaconda3/lib/python3.7/site-packages/pandas/core/reshape/concat.py in __init__(self, objs, axis, join, join_axes, keys, levels, names, ignore_index, verify_integrity, copy, sort)
    257             objs = [objs[k] for k in keys]
    258         else:
--> 259             objs = list(objs)
    260 
    261         if len(objs) == 0:

~/anaconda3/lib/python3.7/site-packages/pandas/core/groupby/generic.py in <genexpr>(.0)
   1488         from pandas.core.reshape.concat import concat
   1489         return concat(
-> 1490             (func(col_groupby) for _, col_groupby
   1491              in self._iterate_column_groupbys()),
   1492             keys=self._selected_obj.columns, axis=1)

~/anaconda3/lib/python3.7/site-packages/pandas/core/groupby/groupby.py in <lambda>(x)
   1317 
   1318         return self._apply_to_column_groupbys(
-> 1319             lambda x: x._cython_agg_general('ohlc'))
   1320 
   1321     @Appender(DataFrame.describe.__doc__)

~/anaconda3/lib/python3.7/site-packages/pandas/core/groupby/groupby.py in _cython_agg_general(self, how, alt, numeric_only, min_count)
    836 
    837         if len(output) == 0:
--> 838             raise DataError('No numeric types to aggregate')
    839 
    840         return self._wrap_aggregated_output(output, names)

DataError: No numeric types to aggregate

Answer 1

make_mtf_ohlcは正しく動いています。
従って、データが間違っているか、その加工に誤りがあるのでしょう。
エラーコード全文を載せていただければ、もう少しわかるかもしれません。

以下が確認テストの結果です。

>>> import pandas as pd
>>> import io
>>>
>>> indata = '''Time,Open,High,Low,Close
... 2018-12-13 10:05,100,150,90,120
... 2018-12-13 11:07,120,160,110,130
... 2018-12-13 11:12,130,145,102,128
... 2018-12-13 12:18,128,142,117,134'''
>>>
>>> with io.StringIO(indata) as f:
...     dataM1 = pd.read_csv(f, engine='python', parse_dates=[0])
...
>>> dataM1.set_index('Time', inplace=True)
>>>
>>> def make_mtf_ohlc(dataM1, tf):
...     x = dataM1.resample(tf).ohlc()
...     O = x['Open']['open']
...     H = x['High']['high']
...     L = x['Low']['low']
...     C = x['Close']['close']
...     ret = pd.DataFrame({'Open': O, 'High': H, 'Low': L, 'Close': C},
...                        columns=['Open','High','Low','Close'])
...     return ret.dropna()
...
>>> ohlc_1h = make_mtf_ohlc(dataM1, '1H')
>>> ohlc_1h
                     Open  High  Low  Close
Time
2018-12-13 10:00:00   100   150   90    120
2018-12-13 11:00:00   120   160  102    128
2018-12-13 12:00:00   128   142  117    134

確実ではありませんが、どこかに数字ではないデータが入っている可能性が高いですね。
以下のデータだとご質問に書かれているのと同じエラーが発生しています。

>>> indata = '''Time,Open,High,Low,Close
... 2018-12-13 10:05,100,150,90,120
... 2018-12-13 11:07,120,なし,110,130
... 2018-12-13 11:12,130,145,102,128
... 2018-12-13 12:18,128,142,117,134'''
>>>
>>> with io.StringIO(indata) as f:
...     dataM1 = pd.read_csv(f, engine='python', parse_dates=[0])
...
>>> dataM1.set_index('Time', inplace=True)
>>> def make_mtf_ohlc(dataM1, tf):
...     x = dataM1.resample(tf).ohlc()
...     O = x['Open']['open']
...     H = x['High']['high']
...     L = x['Low']['low']
...     C = x['Close']['close']
...     ret = pd.DataFrame({'Open': O, 'High': H, 'Low': L, 'Close': C},
...                        columns=['Open','High','Low','Close'])
...     return ret.dropna()
...
>>> ohlc_1h = make_mtf_ohlc(dataM1, '1H')
 Traceback (most recent call last):
   File "<stdin>", line 1, in <module>
   File "<stdin>", line 2, in make_mtf_ohlc
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\resample.py", line 937, in g
     return self._downsample(_method)
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\resample.py", line 1041, in _downsample
     result = obj.groupby(self.grouper, axis=self.axis).aggregate(how, **kwargs)
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\groupby\generic.py", line 928, in aggregate
     result, how = self._aggregate(func, *args, **kwargs)
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\base.py", line 311, in _aggregate
     return self._try_aggregate_string_function(arg, *args, **kwargs), None
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\base.py", line 267, in _try_aggregate_string_function
     return f(*args, **kwargs)
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\groupby\groupby.py", line 1441, in ohlc
     return self._apply_to_column_groupbys(lambda x: x._cython_agg_general("ohlc"))
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\groupby\generic.py", line 1759, in _apply_to_column_groupbys
     return concat(
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\reshape\concat.py", line 271, in concat
     op = _Concatenator(
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\reshape\concat.py", line 326, in __init__
     objs = list(objs)
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\groupby\generic.py", line 1760, in <genexpr>
     (func(col_groupby) for _, col_groupby in self._iterate_column_groupbys()),
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\groupby\groupby.py", line 1441, in <lambda>
     return self._apply_to_column_groupbys(lambda x: x._cython_agg_general("ohlc"))
   File "C:\Users\myname\anaconda3\lib\site-packages\pandas\core\groupby\groupby.py", line 908, in _cython_agg_general
     raise DataError("No numeric types to aggregate")
 pandas.core.base.DataError: No numeric types to aggregate

データのどの部分に問題があるかを調べるには、以下のようにやってみてください。

>>> print(dataM1['Open'].dtype)
int64
>>> print(dataM1['High'].dtype)
object
>>> print(dataM1['Low'].dtype)
int64
>>> print(dataM1['Close'].dtype)
int64

印字されるのがobjectのところに問題があります。

Comments

[y_masa.teratail]

前回に引き続き回答頂き、ありがとうございます。
参照しているCSVファイルのURLと、エラー内容の全文を掲載し、更新させて頂きました。（長文となってしまい、申し訳ありません、、）
よろしくお願い致します。

[ppaul]

回答を更新しましたので、そちらをお読みください。

[y_masa.teratail]

返信が遅くなってしまい、申し訳ありません。
返信頂き、本当にありがとうございます。
ppaulさんに指摘頂いた内容を実践してみました。
CSVファイルの参照先を変更してみたのですが、同じようなエラーが表示されてしまいます、、
この結果からどのような可能性があるかアドバイス頂きたく、返信させて頂きました。
内容を更新しましたので、一読いただければ幸いです。
何度もお手数おかけしますが、よろしくお願い致します。