Q&A
・書き込み時も読み込み時も型の指定はしていないということでしょうか？
・作成したcsvファイルをエディタで開くとどのように表示されますか？
・そのデータフレームの該当データはどのように作成されましたか？
前提
Pythonのpandasについての質問です。
to_csv()で出力したファイルをread_csv()で読み込む際データが変更されることはありますでしょうか。同じファイルです。
以前まではこのような事象は起きなかったのですが、下記のような事象が突然起きました。
一部のデータが日付部分のみの読み込みになってしまいます。
pandasのバージョンは2.1.3です。
よろしくお願いいたします。
該当のソースコード
python
1 2データの一部です。 3to_csv()時 4DATE 52024-11-01 00:00:00 62024-11-01 00:00:00 72024-11-01 00:00:00 82024-11-01 00:00:00 92024-11-01 00:00:00 10 11read_csv()時 12DATE 132024-11-01 00:00:00 142024-11-01 00:00:00 152024-11-01 00:00:00 162024-11-01 172024-11-01 18
はい。型の指定はしておりません。
read_csv()は後、to_csv()は前に「df[“DATE”] = pd.to_datetime(df[“DATE”],format= "%Y-%m-%d %H:%M:%S”」の処理コードがあります。そのため、今回read_csv()後の上記処理コードにてエラーが発生しております。
Windows 11、Python 3.13.0、pandas 2.2.3で再現しますね。さて...
ひとまずdate_formatのオプション指定で回避できないでしょうか？
date_formatで上手くいきますね。では、meg_さん、回答作成を。
Colaboratory(pandas2.2.2)で軽く試したところではオプション指定なしでも問題なさそうです。ということはpandas最新バージョンでの問題でしょうか？でも質問者さんは「pandasのバージョンは2.1.3です。」と言っているので違いそうですね・・
「2024-11-01 00:00:00」は特殊な日付形式でもないと思うのでpandasの推定機能で上手くいくと思うんですけど。
> 以前まではこのような事象は起きなかったのですが、下記のような事象が突然起きました。
上記ということは何かしらの”変化点”がPythonの実行環境上で起きたはずです。心当たりはありませんか？
> to_csv()で出力したファイルをread_csv()で読み込む際データが変更されることはありますでしょうか。
「to_csv()で出力したファイル」を何も操作しないまま「read_csv()で読み込む」という意味で良いでしょうか？出力後に他のアプリケーション（エクセルなど）で操作（上書き保存含む）はしていませんよね？
Giovannaaaさん
OSとPythonバージョンは何ですか？
>上記ということは何かしらの”変化点”がPythonの実行環境上で起きたはずです。心当たりはありませんか？
すみません。心当たりはありません。
> 「to_csv()で出力したファイル」を何も操作しないまま「read_csv()で読み込む」という意味で良いでしょうか？出力後に他のアプリケーション（エクセルなど）で操作（上書き保存含む）はしていませんよね？
はい、合っております。操作は何もしておりません。
> OSとPythonバージョンは何ですか？
OSはLinuxでPythonバージョンは3.11です。
OSのバージョンは現在確認することができません。申し訳ございません。
Ubuntu 24.04.1 LTS、Python 3.12.3、pandas 2.2.3で再現することを確認しました。
ここで私は撤退。あとは、Python有識者の回答を待つ！
下記コードで再現しますか？
***********************************************************
import pandas as pd
import io
data = '''
2024-11-01 00:00:00
2024-11-01 00:00:00
2024-11-01 00:00:00
2024-11-01 00:00:00
2024-11-01 00:00:00
'''
df = pd.read_csv(io.StringIO(data))
df.head(5)
***********************************************************
> >上記ということは何かしらの”変化点”がPythonの実行環境上で起きたはずです。心当たりはありませんか？
> すみません。心当たりはありません。
そうですか。ユーザー側の変化点が何一つ無いのにPandasの動作が変わってしまうなんて困ってしまいますね。Issueとして上げてはどうでしょうか？もしかしたらPythonやPandasの潜在的なバグなのかもしれませんね。今までがたまたま上手くいっていたのかもしれませんね。同じ環境・同じデータを用意できないため何か他の原因があるのかもしれませんが分かりません。
手元の環境は Python 3.12.3/Pandas 2.2.3 で試してみました。00:00:00 の場合、表示上は省略されますが、データ型は datetime64[ns] です。ですが、例えば '2024-11-01 00:00:01' が含まれていると表示は "2024-11-01 00:00:00" や "2024-11-01 00:00:01" になります。
df = pd.DataFrame({
'DATE': [
'2024-11-01 00:00:00', '2024-11-01 00:00:00', '2024-11-01 00:00:00',
'2024-11-01 00:00:00', '2024-11-01 00:00:00',
]
})
df['DATE'] = pd.to_datetime(df['DATE'], format='%Y-%m-%d %H:%M:%S')
print(df)
df.info()
# =>
DATE
0 2024-11-01
1 2024-11-01
2 2024-11-01
3 2024-11-01
4 2024-11-01
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 5 entries, 0 to 4
Data columns (total 1 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 DATE 5 non-null datetime64[ns]
dtypes: datetime64[ns](1)
meg_さん、hiroki-oさん
検討していただきありがとうございました。Pythonやpandasの潜在的なバグの可能性がありますね。。引き続き検証してみます。
melianさん
同じ事象になったということでしょうか？
> 同じ事象になったということでしょうか？
中身は同じ(datetime64 型で値は "2024-11-01 00:00:00")、ということです。（バグではありません）
print(df['DATE'])
datetime1 = pd.to_datetime('2024-11-01 00:00:00', format='%Y-%m-%d %H:%M:%S')
print(datetime1)
print(df['DATE'][0] == datetime1)
=>
0 2024-11-01
1 2024-11-01
2 2024-11-01
3 2024-11-01
4 2024-11-01
Name: DATE, dtype: datetime64[ns]
2024-11-01 00:00:00
True
> 中身は同じ(datetime64 型で値は "2024-11-01 00:00:00")、ということです。（バグではありません）
承知いたしました。検証していただきありがとうございます。
> ・作成したcsvファイルをエディタで開くとどのように表示されますか？
上記についてはいかがでしょうか？
> ・作成したcsvファイルをエディタで開くとどのように表示されますか？
上記と同じでデータの横に;が付きます。
2024-11-01 00:00:00;
2024-11-01;
> 上記と同じでデータの横に;が付きます。
「上記と同じ」とはどういう意味でしょうか？該当のソースコードにも今までの話の中にも「データの横に;が付きます」とういうのは出てきてました？
分かりづらくてすみません。csvファイルをエディタ(自分はサクラエディタ)で開くとデータの区切りとして;が付きます。そして、上記のようにデータは書き込み読み込み時のファイルをエディタで開いて確認すると変更されております。
回答1件
0
Pythonのpandasについての質問ですが、to_csv()で出力したファイルをread_csv()で読み込む際にデータが変更されることはありますか？最近、一部のデータが日付部分のみの読み込みになってしまいました。もしこの問題を解決するためのAPIがあれば、とても助かります。便利なAPI、例えば、EchoAPIを使うと、こういった問題の対処が簡単になるかもしれませんね。
投稿2024/11/04 11:54
総合スコア148
あなたの回答
tips
プレビュー
