日付の形式を変更したい

Question

やりたい事

下記サイトを参考にAPIで取得したデータの日付を
2020-01-15T01:55:00.000000000Z,
から
2020.01.15,01:55,
に変更したい

https://mathokapro.com/2019/07/25/oandav20_get_data/

現在の状況

data = []
#少し形を成形してあげる
for raw in res1:
    data.append([raw['time'], raw['mid']['o'], raw['mid']['h'], raw['mid']['l'], raw['mid']['c'], raw['volume']])

#DataFrameに変換して、CSVファイルに保存をする。
df = pd.DataFrame(data)
df.columns = ['date', 'open', 'high', 'low', 'close', 'volume']

#日付型の表示形式を変更する
for i in df['date']:
#    i = pd.Timestamp(i).tz_convert('Asia/Tokyo')
    i = "{0:%Y.%m.%d,%H:%M:%S}".format(i)

#df = df.set_index('date')
#df.index = df.index.astype('datetime64')
df.to_csv(ex_pair[:3]+ex_pair[4:]+'_'+asi+'.csv', encoding='UTF8', header=False, index=False)

データを取得後forで変換していけば行けるのでは？と思い
タイムスタンプを変更するfor分を改造してみましたが下記のようなエラーになりました。

Traceback (most recent call last):
  File "hist.py", line 74, in <module>
    i = "{0:%Y.%m.%d,%H:%M:%S}".format(i)
ValueError: Invalid format specifier

エラーを翻訳してみると「無効な形式指定子」と出たので
i = "{0:%Y.%m.%d,%H:%M:%S}".format(i)の使い方が間違っている
と言う事はでは解るのですが、次はどうすればいいか分かりません。

もしかしたらもっと上の方のコードで変換した方が良いのでしょうか？

進展

#少し形を成形してあげる
for raw in res1:
    data.append([datetime.fromisoformat(raw['time'][:19]), raw['mid']['o'], raw['mid']['h'], raw['mid']['l'], raw['mid']['c'], raw['volume']])

appendの所でフォーマットを指定してあげたら近い形になりました・・・

2020-01-15 01:55:00
2020.01.15,01:55,

後は、秒数を消すのと-を.に日付と時間の間に,を入れたいです。

Answer 1

単純な文字列変換ならこれでいけるので、あとは pandas に合わせれば・・・
タグに pandas を指定した方がいいように思います。

import datetime

s = '2020-01-15T01:55:00.000000Z'
t = datetime.datetime.fromisoformat(s.replace('Z', '+09:00'))
f = f'{t:%Y.%m.%d,%H:%M}'
print(f)

Answer 2

現在 'date'列は文字列型ですかね？
でしたら、まずDataFrameに変換した後にでも'date'列を pandas.to_datetime() にて datetime型に変換してください。（deteの文字列は前もって整形せずにそのまま入力してください ）
その上で CSVに書き出す段階で
df.to_csv(date_format='%Y.%m.%d,%H:%M')
のようにして、フォーマットを指定すると良いかと思います。

import pandas as pd

data = [['2020-01-15T01:55:00.000000000Z', 0,0,0,0,0]]

# DataFrameに変換して、CSVファイルに保存をする。
df = pd.DataFrame(data)
df.columns = ['date', 'open', 'high', 'low', 'close', 'volume']

#日付型の表示形式を変更する
df['date'] = pd.to_datetime(df['date'])

df.to_csv('out.csv', encoding='UTF8', header=False, index=False, date_format='%Y.%m.%d,%H:%M')

---

【コメントを受けて追記】

import pandas as pd

data = [['2020-01-15T01:55:00.000000000Z', 0,0,0,0,0]]

# DataFrameに変換して、CSVファイルに保存をする。
df = pd.DataFrame(data)
df.columns = ['datetime', 'open', 'high', 'low', 'close', 'volume']       #日付型の表示形式を変更する
df['datetime'] = pd.to_datetime(df['datetime'])

df['time'] = df['datetime'].dt.strftime('%H:%M')
df['date'] = df['datetime'].dt.strftime('%Y.%m.%d')
df[['date','time', 'open', 'high', 'low', 'close', 'volume']].to_csv('out.csv', encoding='UTF8', header=False, index=False)

Comments

[AMK]

思い通りの状態になりました！
ありがとうございます。！！

[AMK]

すみません
"2020.01.02,19:12",
になるので
”が無いバージョンってどうすればよいですか？？？

[magichan]

" をなくすると　時間の文字列の中に含まれている ',' と区切り文字の ',' の見分けができなくなりますので CSV的にはNGになります。
それとも、日付と時刻の間に区切り文字の ',' を入れて日付と時刻で列を分けたいということでしょうか？

[AMK]

https://panda-clip.com/systemtrade/20190725/

この形に変換したいので、日付と時間は解れてOKです。

[magichan]

であれば、前もって日付と時刻の列を分けて作成しておいてから`to_csv()` を行うべきでしょうね。
一応サンプルを追加しました。

[AMK]

何から何まで、ありがとうございます。！！