pandasで取り込んだデータを転置してresampleしたい

Question

前提・実現したいこと

とある複数の工程表のＥｘｃｅｌファイルを読み込んで、人別の工数推移をグラフ化する
ようなプログラムを書こうとしていました。簡単化すると下記のようになります。
excelファイル読み込み→人別に、時系列のデータに並べる(日別データ)→週別のデータにresampleして、グラフ化する。
イメージとしては下記のようなものです。(resample部分は図には書いてませんが…)

発生している問題・エラーメッセージ

実際にやってみると、下記エラーが出力されてしまいます。
resample '<' not supported between instances of 'str' and 'datetime.datetime'
いろいろ試してみたのですが解決せず、ここで質問させていただければと考えています。

→ソースコード内で、pandasのresampleを使っているのですが、どうも、pandas.read_excelを
やったときに、yyyy/mm/dd 00:00:00というデータと、yyyy/mm/dd 00:00:00.1のような
データが混在して取れていることが分かりました。(strとdatetimeが混在？）

質問したい内容は以下です。
①read_excelでexcelファイルを読み込んだ時、時系列のデータが、上記のように、
yyyy/mm/dd 00:00:00.1のようになる理由についてどのようなものがあるでしょうか。
（excelファイルの日付部分は、オートフィルで作っているもので、打ち間違いは
ありませんでした。）
②上記のようにindexのデータ型が混在した場合、resampleをきちんと動作させるには、
どのようにすればよいでしょうか。

なお、下記ソースコードは、indexにdatetimeと混在していると仮定したうえで何とか除去してresampleを動かそうとして、datetimeで統一させたいと思って作った部分です。
お忙しい中恐縮ですが、ご回答いただけましたら幸甚に存じます。

追記：①の原因自体はわかりました。実際のコード例では、headの部分に全く同じ日付があったため、あとに出てきた日付の分は、「.1」が付与されてしまい、
これを転置した時に型が混在してしまい、エラーになってしまうという症状のようでした…。
これを解決するのに下記のコードのように全部日付型に変換しようとするとエラーが発生しました…。

該当のソースコード（簡略化したもの。これで動かすと別のエラーが出る。）

import pandas as pd
import numpy as np
import re


def shaping_datetime(s):
    match = re.match("\d*/\d*/\d* \d*:\d*:\d*", s)
    if match:
        # print("マッチしたよ:{}".format(match.group(0)))
        ret = match.group(0)
    else:
        # print("マッチしないよ")
        ret = np.nan
    return ret


if __name__ == '__main__':
    hoge = pd.DataFrame([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
    hoge.index = ["2019/9/20 00:00:00", "2019/9/21 00:00:00.1", "2019/9/23 01:22:15"]
    lst = hoge.index.values.tolist()
    tmp_list = list(map(str.strip, hoge.index.values))

    shaping_datetime(tmp_list[1])
    tmp_list = list(map(shaping_datetime, tmp_list))
    print(tmp_list)

    hoge.index = tmp_list
    hoge.resample('W')

試したこと

データの形を見直した
pandas周りのメソッドを検索し、いろいろ試してみた。

補足情報（FW/ツールのバージョンなど）

python 3.7.0
pandas 0.24.2

Comments

[meg_]

実際のデータを読み込んだ際のその部分のコードとそのときに出たエラーの全文（フォルダ名等は隠ぺい可）を掲載すると回答がつきやすくなるかと思います。

[H.K2]

遅くなりましてすみません。ご指摘ありがとうございます。原因自体はわかったので、ちょっと試行錯誤してみます。

Answer 1

きれいではありませんが、string型になっている日時データを datetime型に変換したら動きました

import pandas as pd
import numpy as np
import re
import datetime

def shaping_datetime(s):
    match = re.match("\d*/\d*/\d* \d*:\d*:\d*", s)
    if match:
        # print("マッチしたよ:{}".format(match.group(0)))
        ret = match.group(0)
    else:
        # print("マッチしないよ")
        ret = np.nan
    return ret


if __name__ == '__main__':
    hoge = pd.DataFrame([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
    hoge.index = ["2019/9/20 00:00:00", "2019/9/21 00:00:00.1", "2019/9/23 01:22:15"]
    lst = hoge.index.values.tolist()
    tmp_list = list(map(str.strip, hoge.index.values))

    shaping_datetime(tmp_list[1])
    tmp_list = list(map(shaping_datetime, tmp_list))
    
    # この１行を追加しました
    tmp_list = [datetime.datetime.strptime(time_string, '%Y/%m/%d %H:%M:%S') for time_string in tmp_list]
    print(tmp_list)

    hoge.index = tmp_list
    hoge.resample('W')


# print(tmp_list) の出力
[datetime.datetime(2019, 9, 20, 0, 0), datetime.datetime(2019, 9, 21, 0, 0), datetime.datetime(2019, 9, 23, 1, 22, 15)]

もしかしたら、resampleというメソッドは、indexがdatetime型のときにしか動作しないのではないでしょうか？

Comments

[H.K2]

ありがとうございます❗
ちょっと出張中なんでコード実行できる環境にないので明日確認します。

[H.K2]

すみません。。。上の簡単な例の時は動いたのですが、どうも、実際のコードでは、同一列に全く同じ日付があって、それがheadの部分なので、日付.1となっていて、str型とdatetime型が混在してしまっていたようです…。
この場合、このhead部分を転置して列にした場合、上記コードだと対応できないのですが、何かの型に統一しないといけないのでしょうか。

[siruku6]

strptime()メソッドの引数に、datetime型を渡すことができないためにエラーになっている可能性が高そうです。

事前にすべてのhead部分をstr型に変換しておくか、又は、str型の場合だけstrptimeに渡すように修正してみてはいかがでしょう

---

というのもありますが、日時の末尾についている .1 という値は無視してもいいものなのでしょうか

もしかしたらコンマ何秒を意味していて、要件によってはそれを無視できない可能性も視野に入れておいた方がいいかもしれません

[H.K2]

ご回答ありがとうございます。元データを確認したところ、元のファイルの、同一列のかなり離れたところに
同じ日付があって、その部分だけ.1と出ているのを確認しました。
strの場合だけstrptimeに渡す方向でやってみます。ありがとうございました！