Python pandas 行番号を基にしたデータ追加について

Question

環境：Python 2.7.10， pandas:0.18.1

###前提・実現したいこと
次のcsvファイルの各行にタイムスタンプを振りたいと考えています．

1行目はデータ計測を開始した時点のタイムスタンプ，
2行目は取得周期，
3行目以降はセンサデータ値となっています．

data.csv

1483805506
64
0.01
-0.03
-0.05
-0.05
0.13
0.36
0.66
・・・

こちらのデータから，
タイムスタンプが1列目，センサデータが2列目になるような形で出力結果を得たいと考えています．

###試したこと
これまではタイムスタンプを格納するSeriesを一度作成して読み込んだデータと結合していました．
しかし，データ量が多く処理時間が長過ぎるため，for文を使用しないような方法を取りたいと思っています．

例えば，他の回答者様が提示されている（https://teratail.com/questions/27787）ような方法で，
処理できれば時間短縮になるかと考えているのですが，
行ごとに値を更新するために，行番号を用いて値を計算するといったことは可能なのでしょうか？

ご教授のほどよろしくお願いします．

こちらはこれまで試したソースコードになります．

inputdata = pd.read_csv( data.csv )

tmp_time = inputdata.ix[0, 0]
delta_time = 1 / tmp_time.ix[1, 0]

for num in xrange( inputdata.shape[0] ):
	tmp_time = tmp_time + delta_time

	sr1 = pd.Series( [tmp_time], name='time' )
	sr2 = pd.Series( inputdata.ix[num], index=['data'] )
	sr2 = sr2.append(sr1)

	outputdata = outputdata.append( sr2, ignore_index=True )

Answer 1

.append()の処理がボトルネックになっていると思われます。

お察しの通り、index(行番号)を元に計算することが可能です。
枠となるシリーズまたはデータフレームを先に作っておき、その中にデータを入れ込む方が一般的には処理が早いです。

元のデータがcsvではなかったため、変数に代入することで代用しました。適宜変更してください。

import pandas as pd

tmp_time = 1483805506
delta_time = 64
inputdata = pd.Series([0.01, -0.03, -0.05, -0.05,  0.13,  0.36,  0.66])

df = pd.DataFrame(inputdata, columns=['data'])
df['time'] = df.index.map(lambda x: tmp_time + delta_time * x)
df = df.reindex_axis(['time' ,'data'], axis=1)

Comments

[chiaki38]

ご回答ありがとうございます！参考になりました！

Answer 2

import datetime as dt
header = pd.read_csv('data.csv', header=None, nrows=2)
inputdata = pd.read_csv( 'data.csv' ,header=None, skiprows=2)
delta_time = 1 / header.ix[1, 0] * 1000

timestamp = pd.DataFrame(pd.date_range(dt.datetime.fromtimestamp(header.ix[0,0]), 
                                       periods=len(inputdata.index),freq=str(delta_time) + 'ms'))

pd.concat([timestamp, inputdata], axis=1)

pandas の date_range を使うと良いと思います。
たぶん、lambdaを使うより、もっと高速かと思われます。

■追記

試しに２万レコードのデータでテストしてみました。

** 1. for loopで append した場合**

   CPU times: user 22.4 s, sys: 267 ms, total: 22.7 s
   Wall time: 22.9 s

** 2. lambda で実行した場合**

  CPU times: user 26.6 ms, sys: 16 ms, total: 42.6 ms
  Wall time: 69.1 ms

** 3. date_range を使った場合**

  CPU times: user 18.1 ms, sys: 5.51 ms, total: 23.6 ms
  Wall time: 26.7 ms

Comments

[chiaki38]

参考になりました！ありがとうございます！