CSVのフィールド内を再分割して、計算したい

Question

PythonでPandasを利用してCSVファイルを読み込んでいます。

このとき、CSVの中のTimeというフィールドは以下のような書式で書かれています。
100d 20h 30m
15d 2h 5m
20d 12h
50m
11h 22d
30d 11h 3m

dは日数、hは時間、mは分を表していて、それぞれは半角スペースで区切られています。
import pandas as pd
import glob

fns=glob.glob('./*.csv')
fns.sort()
for fn in fns:
df=pd.read_csv(fn)
days=df['Time in trade']
print(type(days[1]))

以上のコードで確認すると、このフィールドの値はstrとして認識されているようです。
これを秒数に変換したいのですが、どのように処理すれば良いのでしょうか？
特に、フィールド内を半角スペースで再分割する方法と、d,h,mによって処理を分ける方法が良く分かりません。
また、現在はSeriesになっていますが、Seriesに対して、連続的に処理を掛ける(あるいはブロックとして一括で処理できればもっと良いですが)方法も良く分からないです。

もし、日数D、時間H、分Mの値が個別に拾えれば、60*(M+60*(H+24*D))みたいなリターンをSeriesのそれぞれの行の値に対して返したいです。

どういう方法で実装できるか、アドバイスを戴けますとありがたいです。
よろしくお願いします。

Answer 1

以下は extract() を使う方法です(CSV ファイルを 01.csv としています)。

import pandas as pd

df = pd.read_csv('01.csv')

# print(df['Time'].str.extract(r'((\d+)([dhm]))?\s*((\d+)([dhm]))?\s*((\d+)([dhm]))').fillna(0))

sec = {'d': 86400, 'h': 3600, 'm': 60, 0: 0}
df['Time(second)'] = (
  df['Time'].str
    .extract(r'((\d+)([dhm]))?\s*((\d+)([dhm]))?\s*((\d+)([dhm]))')
    .fillna(0).astype({1: int, 4: int, 7: int})
    .apply(lambda x:
           x[1]*sec[x[2]] + x[4]*sec[x[5]] + x[7]*sec[x[8]], axis=1))

print(df)

#
           Time  Time(second)
0  100d 20h 30m       8713800
1     15d 2h 5m       1303500
2       20d 12h       1771200
3           50m          3000
4       11h 22d       1940400
5    30d 11h 3m       2631780

Comments

[MakotoAkai]

素早いご回答ありがとうございます。

.extractの引数は正規表現でしょうか？
r'((\d+)([dhm]))?\s*((\d+)([dhm]))?\s*((\d+)([dhm]))'

最初のrは正規表現であることを表す
(\d+)は任意の数字\dの一回以上の繰り返し+
括弧で括られた部分がGroupとして扱われる
([dhm])はdとhとmのどれかで、2番目のGroupに割り当てられる
・・・・
なので、
x[1]に(\d+)
x[2]に([dhm])
・・・・
みたいな割当になって
sec[d]だと86400、sec[h]だと3600、sec[m]だと60が割り当てられて計算される
みたいな感じなのは理解できました。

ただ、なぜxという配列に収納されることになったのかとか、x[3]やx[6]がスキップされている理由が良く理解できないです。

もしよろしければ、補足解説していただけますと大変ありがたいです。
よろしくお願いします。

[melian]

コメントアウトしている、

print(df['Time'].str.extract(r'((\d+)([dhm]))?\s*((\d+)([dhm]))?\s*((\d+)([dhm]))').fillna(0))

を実行して見てください。また、apply(..., axis=1) によって、行ごとに lambda 関数の中身が実行されるのですが、その際に引数の x に各行が渡されます。

[MakotoAkai]

ありがとうございます。

なるほど、r'((\d+)([dhm]))...
なので
x[0]には((\d+)([dhm]))
x[1]には(\d+)
x[2]には([dhm])
となり、同様にx[3]とx[6]には
\sで区切られた第二、第三フィールドのブロック全体((\d+)([dhm]))が収納されるので、lambda関数では使用しないということだったんですね。

正規表現のGroup機能にこういう入れ子の機能があるというのは知りませんでした。
また、lambda関数というのも知らない機能なので調べてみます。

大変勉強になりました。
ありがとうございました。