Python 日付データの変換方法について

Question

前提・実現したいこと

object型となっているデータから、datetime64型の日付データに変換したい。

困っていること、及び該当のソースコード

# 2つのCSVデータ中身（例）
日時,株価,始値,高値,安値,出来高,時価総額（百万円）
2019/8/29 15:00,1383,1320,1399,1317,411900,22274

日時,株価,始値,高値,安値,出来高,時価総額（百万円）
2019/8/30 15:00,1361,1353,1368,1337,269100,21919

# 必要なライブラリをimport
import json,csv
import pandas as pd
import numpy as np
import glob

# 2つのCSVを結合
csv_files = glob.glob('*.csv')
list = []

for f in csv_files:
    list.append(pd.read_csv(f, encoding='cp932'))
df = pd.concat(list)

dfs = df.rename(columns={'日時': 'date', '株価': 'close', '始値': 'open', '高値': 'high', '安値': 'low', '出来高': 'volume', '時価総額（百万円）': 'Market-cap'})

このような形で作ったデータの型を見ると、以下のように表示されました。object型ではあるものの、要素は文字列str型ではない、とのこと。

print(dfs['date'].dtypes)
# object

print(type(dfs['date'][0]))
# <class 'pandas.core.series.Series'>

なので、以下のようにすると、以下のようなエラーメッセージが出てしまい、変換できませんでした。

pd.to_datetime(df['date'])

# ValueError: String does not contain a date.

ただし、確認したところ、1つのCSVデータ単体の'date'の型を見ると、以下のように変換する必要のない、求める型で存在していることが分かりました。

# datetime64[ns]
# <class 'pandas._libs.tslib.Timestamp'>

したがって、CSVを結合したことによって型が変わってしまったと考えられるのですが、このようなケースで、'date'の型を上記のように求める型に戻す、もしくは求める型のまま結合するにはどのようにしたらいいでしょうか。また、さらに、最終形態としては「2019/8/30 15:00」ではなく「2019/8/30」と時間を削除した形で表示できるようにしたいです。

以上、解決方法など、アドバイスいただけると助かります。よろしくお願いします。

Comments

[can110]

dfの中身がよく分からないので、データ作成（あるいは読込）処理部分のコードも提示すると回答得られやすくなります。

[qsuke]

コメントありがとうございます。
元データは、あるサイトからダウンロードしたCSVをそのまま読み込んだものなのでよく分からないのですが、どのように表現するのが良いでしょうか…（初心者で、質問の仕方や勝手が分かっておらず、すみません…）

[can110]

まず元CSVが数千行または列ある場合は、現象が再現する最小限までテキストエディタで中身を削ってください。
次に元CSVの中身（テキスト）をコピーし<code>ブロックで囲んだ中にそのまま貼り付けてください。
そうすると比較的中身が維持されたままアップロードできます。
さらにデータ読込部分(read_csv)も含めてコードを再提示ください。read_csvにどのようなオプションをつけて呼び出しているかも動作に影響があるので。

[meg_]

CSVから読み込んだ処理（コード）を教えてください。掲載の日付文字列であれば問題なく日付形式へ変換できるはずですが。

[qsuke]

ご指摘、アドバイス、ありがとうございます！
1つ、問題の要因が明確になったように思います。

ご指摘、アドバイスいただいたように、上記、私の手元の状況に近い内容に編集したのですが、その過程で、CSVを結合したことによって起こっている現象ではないかと思いました。ただ、要因が判明したところで、現状の私のレベルではそれを解決する術も思い浮かばず、質問させていただいているステータスのままにしております。

もしよろしければ、解決につながるご意見をいただけますと幸いです。よろしくお願いします。

[can110]

提示されたCSVデータの項目の区切り文字はタブのように見えますが、実際にはカンマではないでしょうか？（もしかしてExcelで開いて貼り付けてないでしょうか？）
提示ソースのread_csvはカンマ区切として想定したコードになっているので、確認です。

[qsuke]

Excelで開いて貼り付けていました…
テキストエディタで開いたものは、ご指摘のとおり、カンマ区切りのあるものでしたので、それをコピーしたもの（カンマあり）に差し替えました。

何度も間違いを正すご指摘いただき、ありがとうございます。

Answer 1

元のデータがないので確かなことは分かりませんが、Pandas.to_datetime()で下記エラーが出るということは「df['date']」の中に日付に変換できないデータがあるのかと思われます。

pd.to_datetime(df['date'])

# ValueError: String does not contain a date.

エクセルで開ける程度のファイルサイズであれば、データの中身を調べてみてはどうでしょうか？

Answer 2

やや提示コードが複雑だったので単純化しました。以下のコードのようにすると文字→日時型に変換できます。

最終形態としては「2019/8/30 15:00」ではなく「2019/8/30」と時間を削除した形で表示できるようにしたいです。

表示というか日付型はdf['～'].dt.dateで取り出せます。
参考：Keep only date part when using pandas.to_datetime

import pandas as pd
from io import StringIO

df = pd.DataFrame() # 空のDataFrame
for s in ['日時,株価\n2019/8/29 15:00,1383', '日時,株価\n2019/8/30 15:00,1361']:
    l = [df, pd.read_csv(StringIO(s))]
    df = pd.concat(l) # 末尾に追加

# 整形
df.reset_index(drop=True, inplace=True)
df.rename(columns={'日時': 'date', '株価': 'close'}, inplace=True)
df['date'] = pd.to_datetime(df['date']) # 日時型に
print(df)
#                 date  close
#0 2019-08-29 15:00:00   1383
#1 2019-08-30 15:00:00   1361

# 日時→日付型に
df['date'] = df['date'].dt.date
print(df)
#         date  close
#0  2019-08-29   1383
#1  2019-08-30   1361

Comments

[qsuke]

ご丁寧にありがとうございます！
いただいたものを自分の環境でやってみたら、私の方でも実現できました。

ただ、この場合、もう1点問題が出てきました。
今回のケースの場合、元データをシンプルにした形だったので問題ありませんでしたが、本来のものは不要な列が多く、df.renameの前にdf.dropで不要な列を削除していました。そのため、いただいたものを反映すると、reset_indexの影響で「削除する列が含まれていない」とエラーが出てしまいます。

たとえば、上記のケースで考えた場合、'日時（date）'だけを残して'株価（close）'の列を削除するにはどのようにしたらいいでしょうか。お手数おかけしますが、再度アドバイいただけますと幸いです。

[can110]

「df = df['date'].to_frame()」のように「date」列だけ抜き出せばよいです。

[qsuke]

ありがとうございます！
無事処理することができました。

Answer 3

その型が何か、をまずはっきりさせましょう
str型じゃなければなんでしょうか。
たとえば、そいつの日付を表示するときはどうするんでしょうか？

Comments

[qsuke]

ご指摘ありがとうございます。
上記にも記載しておりますが、# <class 'pandas.core.series.Series'>型であることは分かっているものの、それを

# datetime64[ns]
# <class 'pandas._libs.tslib.Timestamp'>

に変更したい、というのが私の質問の意図でして、それを伺いたく、ご質問しました。初心者のため、質問の仕方や勝手が分かっておらず、うまく表現できていないようですみません…

[y_waiwai]

繰り返しになりますが、そいつの日付を表示するときはどうするんでしょうか？