Python DataFrameでの正規表現の繰り返し指定

Question

前提・実現したいこと

ログデータを統計処理するため、データをpandas DataFrameで読み取り、
以下のような文字列のカラム（ステータス）から数値だけを抽出したカラムを作りたいと考えています。

■　処理対象DataFrame(df)と実現したい内容
"日時","ステータス"
"2019/07/18 18:35:10","Time: 94ms" ⇒ "94"
"2019/07/18 18:35:15","Time: 544ms" ⇒　"544"
"2019/07/18 18:35:20","Time: 1227ms" ⇒　"1227"

発生している問題・エラーメッセージ

数値の桁数が決まっていないので、DataFrameのreplaceメソッドにより
正規表現で置換を行うことを考えたのですが、
繰り返しを指定しているのに、一桁目だけが抽出されてしまいます。
(ソースコード#1, 2とも同じ結果)

"日時","ステータス"
"2019/07/18 18:35:10","Time: 94ms" ⇒ "4"
"2019/07/18 18:35:15","Time: 544ms" ⇒　"4"
"2019/07/18 18:35:20","Time: 1227ms" ⇒　"7"

該当のソースコード

#1
df['time[ms]'] = df['ステータス'].replace(r'Time:.*([0-9]+)ms', r'\1', regex=True)
#2
df['time[ms]'] = df['ステータス'].replace(r'Time:.*([0-9]{1,})ms', r'\1', regex=True)
 

試した内容

以下のように繰り返し回数を指定すると指定した繰り返し回数で置換はできています。
ただし、繰り返しの範囲が上手く行きません。

df['time[ms]'] = df['ステータス'].replace(r'Time:.*([0-9]{3})ms', r'\1', regex=True)

"日時","ステータス"
"2019/07/18 18:35:10","Time: 94ms" ⇒ "Time: 94ms" (置換されない)
"2019/07/18 18:35:15","Time: 544ms" ⇒　"544"
"2019/07/18 18:35:20","Time: 1227ms" ⇒　"227"

補足情報（FW/ツールのバージョンなど）

Python 3.6.4 :: Anaconda, Inc.

DataFrameを使って、このような処理は出来ないのでしょうか。
ご助言いただけますとありがたいです。
どうぞ、よろしくお願いいたします。

Answer 1

.*が数字を食います。\s*とでもすればいいのかもしれませんが、そもそもやりたいことがreplaceでないのなら、他の方法で書いた方が良いのでは？

これくらいでも問題なさそうに見えます。データ形式次第ではちょっと問題になるかもしれませんが、そのときは適宜対応してください。

>>> import pandas as pd
>>> ser = pd.Series(["Time:    94ms", "Time:   544ms", "Time:  1227ms"])
>>> ser.str.extract(r"(\d+)")
0      94
1     544
2    1227
dtype: object

Comments

[sakase29]

ご回答ありがとうございました。
確認したところ、今回やりたかったことは、extractで実現できる内容でした。
また、データの表現が複数あったのでフォーマットを確認するためこのようなパターンにしたのですが、条件に合う行を抽出してから、シンプルに数値だけを抽出する方法で良かったのだと気づきました。
ありがとうございました。

Answer 2

うまくいかないのは、最長最左の法則により、.*が数値部分を食ってしまうからです。次のようにするといいでしょう。

replace(r'Time: *([0-9]+)ms', r'\1', regex=True)

Comments

[sakase29]

ご回答いただきありがとうございました。
最も左から、最も長くマッチするものが優先されるのですね。
http://www.ne.jp/asahi/futohen/sankaku/h085.htm

ワイルドカード部は空気を読んでくれるものと思っていました。。
教えていただいたように、今回はスペースであることを明示するべきだったと分かりました。ワイルドカードの使い方に気をつけます。
ありがとうございました。

Answer 3

Time:.*?のように?で数字の手前部分を最短一致でマッチするようにすればよいです。

import pandas as pd

df = pd.DataFrame({'status':['Time:    94ms', 'Time:   544ms', 'Time:  1227ms']})
df['time[ms]'] = df['status'].replace(r'Time:.*?([0-9]+)ms', r'\1', regex=True)
print(df)
"""
          status time[ms]
0  Time:    94ms       94
1  Time:   544ms      544
2  Time:  1227ms     1227
"""

Comments

[sakase29]

すぐに回答をいただき、非常に助かりました。ありがとうございました。教えていただいた方法で数値の抽出ができました。

以前似たような処理が出来たので、間違いないと思い込んでいました。?に最短一致の使い方があることは初めて知りました。
https://techracho.bpsinc.jp/hachi8833/2018_10_11/62948

また、.*は乱用しない方が良いということが分かり、勉強になりました。ありがとうございました。