pythonである文字列以下の行をCSV形式で保存したい

Question

前提・実現したいこと

YOLOv3、COCOデータセットを用いて、動画を検知させました。

動画の各フレームにおいて、どのオブジェクトが何個検知されたかを知るため、
下のようなテキストデータ*の中から、Objects:以下の行を抜き出し、

"""
bird: 30% (left_x: 877 top_y: 426 width: 157 height: 81)
bird: 27% (left_x: 874 top_y: 435 width: 158 height: 94)

-> bird,30,877,426,157,81,bird,874,435,158,94

"""

のようにCSV形式で書き換えることを実現したいです。

pythonで行おうと考えておりますが、まず何から検索すればいいかもわからず、
よろしければ、有効な関数やメソッド等、アドバイスをいただければ幸いです。

何卒、よろしくお願いいたします。

*テキストデータ

Demo
net.optimized_memory = 0 
batch = 1, time_steps = 1, train = 0 

 seen 64 
video file: E:/videos/hoge.mp4
Video stream: 1280 x 960 
Objects:


FPS:0.0

 cvWriteFrame 
Objects:

bird: 30% 	(left_x:  877   top_y:  426   width:  157   height:   81)
bird: 27% 	(left_x:  874   top_y:  435   width:  158   height:   94)

FPS:44.7

 cvWriteFrame 
Objects:

bird: 30% 	(left_x:  877   top_y:  425   width:  153   height:   86)

FPS:45.1

 cvWriteFrame 
Objects:

...

補足情報

Python 2.7.17

Answer 1

正規表現を使って値を必要な抜き出すした後に、pandasを使って CSVに書き出すとよいのではないでしょうか

import pandas as pd
import re
from pprint import pprint

# ファイル読み込み
with open('data.txt') as f:
    text = f.read()

# 正規表現を使ってデータを抜き出す
pattern = r'^bird:\s*(\d*).*left_x:\s*(\d*).*top_y:\s*(\d*).*width:\s*(\d*).*height:\s*(\d*).*$'
pat = re.compile(pattern, flags=re.MULTILINE)
data = []
for match in pat.finditer(text):
    data.append({'bird':int(match.group(1)),
                 'left_x':int(match.group(2)),
                 'top_y':int(match.group(3)),
                 'width':int(match.group(4)),
                 'height':int(match.group(5))})
pprint(data)
#[{'bird': 30, 'height': 81, 'left_x': 877, 'top_y': 426, 'width': 157},
# {'bird': 27, 'height': 94, 'left_x': 874, 'top_y': 435, 'width': 158},
# {'bird': 30, 'height': 86, 'left_x': 877, 'top_y': 425, 'width': 153}]

# DataFrame化
df = pd.DataFrame(data)
print(df)
#   bird  left_x  top_y  width  height
#0    30     877    426    157      81
#1    27     874    435    158      94
#2    30     877    425    153      86

# csvに書き出す
df.to_csv('output.csv')

---

【追加】
frame number 集計部を追加したサンプル

import pandas as pd
import re
from pprint import pprint

# ファイル読み込み
with open('data.txt') as f:
    text = f.read()

# 正規表現を使ってデータを抜き出す
pattern = r'^bird:\s*(\d*).*left_x:\s*(\d*).*top_y:\s*(\d*).*width:\s*(\d*).*height:\s*(\d*).*$'
pat = re.compile(pattern, flags=re.MULTILINE)
data = []
for match in pat.finditer(text):
    data.append({'bird':int(match.group(1)),
                 'left_x':int(match.group(2)),
                 'top_y':int(match.group(3)),
                 'width':int(match.group(4)),
                 'height':int(match.group(5))})
pprint(data)
#[{'bird': 30, 'height': 81, 'left_x': 877, 'top_y': 426, 'width': 157},
# {'bird': 27, 'height': 94, 'left_x': 874, 'top_y': 435, 'width': 158},
# {'bird': 30, 'height': 86, 'left_x': 877, 'top_y': 425, 'width': 153}]

# DataFrame化
df = pd.DataFrame(data)
print(df)
#   bird  left_x  top_y  width  height
#0    30     877    426    157      81
#1    27     874    435    158      94
#2    30     877    425    153      86

# 以下を追加
# 再度ループを回してObjects:行をカウント
count = 0
frame_number = []
for line in text.split():
    if line.startswith('Objects:'):
        count = count + 1
    if line.startswith('bird:'):
        frame_number.append(count)
df['frame_number'] = frame_number

print(df)
#   bird  left_x  top_y  width  height  frame_number
#0    30     877    426    157      81             2
#1    27     874    435    158      94             2
#2    30     877    425    153      86             3

# csvに書き出す
df.to_csv('output.csv')

Comments

[good_island]

magichan さま

大変詳しくご回答いただきありがとうございます。
データの整理にはPandasが有効であるということ、
またreモジュールの使い方や、このケースでの正規表現の方法について、
大変勉強になりました。
誠にありがとうございました。

欲を言えば、
読み込み行までに出てきた「Objects:」という文字列の回数を、
新たな列「frame_number」としてdataに加えたいのですが、
何か有効な手段はございますでしょうか。

質問ばかりで大変恐縮ですが、
よろしければご指導いただけますと幸いです。
何卒よろしくお願いいたします。

[magichan]

であれば別途ループを回して Objects: を集計したほうが良いでしょうね
一応サンプル追加しました

[good_island]

magichan さま

早速ご回答いただきありがとうございます。
別途ループで集計してから列を付け足せばよかったのですね、
サンプルまで追加いただき、誠にありがとうございます。

頭ではやりたいことがわかっていてもなかなか実現ができなかったのですが、
いただいたコードをみるとすごくシンプルにまとまっていて、
このように考えたらいいのかと、大変勉強になりました。

まさに自分のやりたいことが実現されました。
何から何まで、本当にありがとうございました。

Answer 2

直截的に作ってみました。スマートではありません。

input_str = [
    "bird: 30%    (left_x:  877   top_y:  426   width:  157   height:   81)",
    "bird: 27%    (left_x:  874   top_y:  435   width:  158   height:   94)"
]
output_str = []
for line in input_str:
    splitted = line.split()
    output_str.append(splitted[0][:-1])
    output_str.append(int(splitted[1][:-1]))
    output_str.append(int(splitted[3]))
    output_str.append(int(splitted[5]))
    output_str.append(int(splitted[7]))
    output_str.append(int(splitted[9][:-1]))
print(output_str)
#結果
#['bird', 30, 877, 426, 157, 81, 'bird', 27, 874, 435, 158, 94]

Comments

[good_island]

ikapy さま

早速ご回答をいただき、ありがとうございます。
split, appendメソッドの使い方について、大変勉強になりました。

これを参考に、
・"Objects:"以下の行のみを対象とする
・文字列にもう一度"Objects:"が見えたら、output_strを改行する
・上と同じ処理を繰り返し、最終行まで終わったら保存する
のような処理を加えていこうと思います。

ありがとうございました。