Pythonのコードを用いてExcelをtsvに変換する際に日付列の9999/12/31がYYYY/MM/DDではなくYYYY-MM-DD hh:mm:ssのタイムスタンプ型で変換されてしまう

Question

実現したいこと

Excelを読み込んでtsvファイルに変換するコードを作成しています。
Excelの各セルの内容は編集せずにそのままtsvファイルに変換する処理を行いたいです。
どなたかご教授いただければ幸いです。

発生している問題・分からないこと

変換元のExcelの列の日付の項目に9999/12/31のような日付が入っていると、YYYY-MM-DD hh:mm:ssのタイムスタンプ形式で変換されてしまいます。通常の2001/01/01のような日付のみの列はYYYY/MM/DDで変換されています。
変換前（Excel）

ID	開始日	終了日
A	2023/01/01	9999/12/31
A	2023/01/01	2014/02/02

変換後（タブ区切り形式のファイル）

ID	開始日	終了日
A	2023/01/01	9999-12-31 00:00:00
A	2023/01/01	2014-02-02 00:00:00

デバッグで確認したところ、9999/12/31の列はタイムスタンプ型で読み込んでいるところまで確認できました。

該当のソースコード

import os
from tkinter import Tk, filedialog, messagebox
import pandas as pd
import csv


def select_folder():
    root = Tk()
    root.withdraw()  # メインウィンドウを表示しないようにする
    folder_path = filedialog.askdirectory(title="フォルダを選択してください")

    if folder_path:
        convert_excel_to_tsv(folder_path)


def convert_excel_to_tsv(folder_path):
    try:
        files = os.listdir(folder_path)

        for file in files:
            if file.endswith(".xlsx"):
                excel_path = os.path.join(folder_path, file)
                tsv_name = os.path.splitext(file)[0] + ".tsv"
                tsv_path = os.path.join(folder_path, tsv_name)

                # ExcelファイルをDataFrameとして読み込む
                df = pd.read_excel(excel_path,engine="openpyxl")

                # DataFrameをタブ区切りのTSVファイルとして保存する
                df.to_csv(tsv_path, sep='\t', index=False, encoding='utf-8', quoting=csv.QUOTE_NONE)

                #print(f'Converted Excel to TSV: {file} -> {tsv_name}')

        messagebox.showinfo('メッセージ', '処理が完了しました。ExcelファイルをTSVファイルに変換しました。')

    except Exception as e:
        print(str(e))
        messagebox.showinfo(f'エラーが発生しました: {str(e)}')


if __name__ == "__main__":
    select_folder()

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

• pythonではUNIXの時間の扱いで2038年までしか日時を扱えないという事象までは確認しました。

対応策まで勘案できていない状態です

• read_excelのdtypeをstrで行う方式も試しましたが、日付の列がすべてタイムスタンプ型になってしまい、断念しました

補足

Python 3.11
pandas 2.2.1
openpyxl 3.1.2
numpy 1.26.3

Comments

[8524ba23]

たぶんpandas(openpyxl)では無理だと思います。詳しくは以下参照ください。
https://github.com/pandas-dev/pandas/issues/39898#issuecomment-783587617
I don't think you can, due to the way date and time are stored in XLSX.

[bsdfan]

タイムスタンプ型とは具体的に何をさしていますか？私の環境では dtype が object で、各要素は datetime.datetime型で入っていました。
型が違っていたらできないかもしれませんが、tsv に出力することができればOKということなら、終了日列を文字列に変換してから出力するのはどうでしょうか。
df['終了日'] = df['終了日'].map(lambda x: x.strftime('%Y/%m/%d'))

[wkbeginner]

can110さん
情報のご提供ありがとうございます。
pandas(openpyxl)ではYYYY-MM-DD hh:mm:ssの形式で解釈しまうのですね。

[wkbeginner]

bsdfanさん
コメントありがとうございます。
YYYY-MM-DD hh:mm:ssの形式をタイムスタンプ型と呼んでいました。Pythonの型と混同させてしまうようでしたね。すみません。

御教授いただいたdf['終了日'] = df['終了日'].map(lambda x: x.strftime('%Y/%m/%d'))の記述で9999/12/31のような日付もYYYY/MM/DD形式になっていることを確認できました。ありがとうございました。

Answer 1

「9999/12/31」が pandas.Timestamp.max を超えているため pandas.Timestamp 型ではなく datetime.datetime 型（上限は datetime.MAXYEAR，datetime.max）で読み込まれていると思われます。

思いついた対応案としては以下になります。

• 「9999/12/31」の変更が可能なら，上限内の「2261/12/31」等に変更する。

• 所望の形式（YYYY/MM/DD）の TSV ファイルを作成することが主たる目的なら，エクセルファイルから所望の形式の「文字列」として読み込む。文字列で読み込んでも datetime.date 型等に後から変換することは可能です。

2番目について pandas.read_excel() の converters パラメータを用いた記述例を下記に示します。なお，環境は「Python 3.12.2, pandas 2.2.1」です。

import pandas as pd
import csv

cvt = lambda x: x.strftime('%Y/%m/%d')
df = pd.read_excel('example.xlsx', engine="openpyxl",
                   converters={'開始日': cvt, '終了日': cvt})

df.to_csv('example.tsv', sep='\t', index=False,
          encoding='utf-8', quoting=csv.QUOTE_NONE)

with open('example.tsv', encoding='utf-8') as f:
    print(f.read())
# ID    開始日 終了日
# A 2023/01/01  9999/12/31
# A 2023/01/01  2014/02/02

Comments

[wkbeginner]

回答ありがとうございます。
試したところ問題が解決しました！
ベストアンサーに選ばせていただきました。