pandas以外を使った処理の仕方がわからない

Question

現状

pandasを使用して、csvファイルを読み込み、id列のidが同じ時、計算処理をするプログラム
を作成した。

問題

しかし、上司から後から、1行ずつ読み込めるプログラムを作れと言われた。
pandasだと1行ずつ読み込むのは難しいとwebサイトで読んだ。

前のプログラム

import pandas as pd

#引数
ip =  input("計算するcsvファイル名を入力してください(例:test5.csv):")
print(ip)
distance = int(input("距離を入力してください(メートル):"))
print(distance)
mes = int(input("計算するスピードの単位を決めてください 1:時速 2:分速　3:秒速 "))


#csvファイルの読み込み
df = pd.read_csv(f"./{ip}",  parse_dates=['datetime'])


#idが同じのがあったら、mesの値によって求める
if(mes == 1):
    df['speed'] = df.groupby('id')['datetime'].apply(lambda d: distance / d.diff().shift(-1).dt.total_seconds());
    df['speed'] /= 3600;
elif(mes == 2):
    df['speed'] = df.groupby('id')['datetime'].apply(lambda d: distance / d.diff().shift(-1).dt.total_seconds());
    df['speed'] /= 60;
elif(mes == 3):
    df['speed'] = df.groupby('id')['datetime'].apply(lambda d: distance / d.diff().shift(-1).dt.total_seconds());

else:
    print("正しい値を入力してください");
    pass;


#csvファイルをスピードを表示したもの以外削除する
df2 = df.dropna(how='any')
print(df2)

#csvファイルの書きだし(秒速の値をcsvファイルに書き込む)
df2.to_csv('test4.csv')

前のプログラムを実行した時のターミナル

TestuserMacBook-Pro:Desktop test$ python test5.py
計算するcsvファイル名を入力してください(例:test5.csv):test6.csv
test6.csv
距離を入力してください(メートル):45
45
計算するスピードの単位を決めてください 1:時速 2:分速　3:秒速 1
                 datetime label direction   id    x    y    w    h     speed
0 2019-02-21 17:15:14.500   車線1     right    9  719  407  147  175  0.010417
3 2019-02-21 17:16:11.600   車線1     right  213  746  504  141  142  0.011364
6 2019-02-21 17:19:10.300   車線1     right  533  851  396  140  161  0.011364
TestuserMacBook-Pro:Desktop test$ 

今作りかけのプログラム

import csv
a = input("計算するcsvファイル名を入力してください(例:test5.csv):")
with open(a, newline='') as csvfile:
     reader = csv.DictReader(csvfile)
     for row in reader:
         print(row['id'], row['datetime'])

Comments

[Takumiboo]

質問は何でしょう。
csvは1行1データで、列がカンマで区切られているだけなので、最悪一から読むプログラムも書けるでしょう。

[shiracamus]

平均を計算するには全データを溜め込む必要があるので、1行ずつ読むプログラムにする意味がありません。
その点は上司は何といっているのでしょう？
Pythonの勉強をさせたいから基本機能だけで作るように言われたのでしょうか？

[pcbginer]

メモリが足りなくなると言われたのですが、私はpandasはデータ解析用なので、する必要が無いと思いますが、どう思われますか？

[magichan]

pandas は通常データフレームをメモリ上に展開するので、データが大きいとそれなりにメモリーを圧迫しますが、扱うデータはメモリーに乗らないほど巨大な（数GB？）データなのですか？

[pcbginer]

メモリ容量も、データ数も説明させていなくいきなり書き換えろと言われました。とても今度に不安を感じています。何万のデータ数を扱う場合は、どうプログラムを書き換えればいいでしょうか？

[Takumiboo]

だったら上司にその不安を伝えたら良いのではないですか。

[shiracamus]

メモリサイズはそんなに変わらないと思うけどなぁ・・・
データを読み込んだ時点でキー入力待ちにして、プロセスのメモリサイズを比較してみるとか。

with open(csvfile) as lines: data = [[line.split(',') for line in lines]
で二次元配列データになります。
そこから、id列とspeed列を取り出したり、idの出現数をカウントしたり、もっとメモリが必要になるはず。

Answer 1

なんとなく上司のやりたいことがわかったような・・・
2組登場するごとにデータ処理したいということなのかな？

from dateutil.parser import parse

filename =  input("計算するcsvファイル名を入力してください(例:test5.csv):")
distance = int(input("距離を入力してください(メートル):"))
unit = input("計算するスピードの単位を決めてください 1:時速 2:分速 3:秒速 ")

UNITS = {"1": 3600, "2": 60, "3": 1}
if unit not in UNITS:
    print("正しい値を入力してください");
    exit();
unit = UNITS[unit]

HEADER_OF_ID = 'id'
HEADER_OF_TIME = 'datetime'

id_time = {}
with open(f"./{filename}") as lines:
    header = next(lines).split(',')
    ID = header.index(HEADER_OF_ID)
    TIME = header.index(HEADER_OF_TIME)
    for line in lines:
        items = line.split(',')
        id_ = items[ID]
        time = parse(items[TIME])
        if id_ in id_time:
            print(id_,  distance / ((time - id_time[id_]).seconds / unit))
            del id_time[id_]
        else:
            id_time[id_] = time

ファイル書き出し例

import csv
from dateutil.parser import parse

filename =  input("計算するcsvファイル名を入力してください(例:test5.csv):")
distance = int(input("距離を入力してください(メートル):"))
unit = input("計算するスピードの単位を決めてください 1:時速 2:分速 3:秒速 ")

UNITS = {"1": 3600, "2": 60, "3": 1}
if unit not in UNITS:
    print("正しい値を入力してください");
    exit();
unit = UNITS[unit]

HEADER_OF_ID = 'id'
HEADER_OF_TIME = 'datetime'

def items():
    id_time = {}
    with open(f"./{filename}") as lines:
        header = next(lines).split(',')
        ID = header.index(HEADER_OF_ID)
        TIME = header.index(HEADER_OF_TIME)
        for line in lines:
            items = line.split(',')
            id_ = items[ID]
            time = parse(items[TIME])
            if id_ in id_time:
                yield (id_,  distance / ((time - id_time[id_]).seconds / unit))
                del id_time[id_]
            else:
                id_time[id_] = time

with open(f"out.csv", "w") as output:
    writer = csv.writer(output, lineterminator="\n")
    writer.writerows(items())

Comments

[pcbginer]

ご丁寧なご説明ありがとうございました。

[pcbginer]

もう一つ、質問よろしいでしょうか？
このプログラムの場合、元のcsvファイルにid_, distance / ((time - id_time[id_]).seconds / unit)だけを
書き込みする場合はどうすればいいでしょうか？

[shiracamus]

回答欄に例を書きました。
読みながら書いているので、同じファイルには書き出せません。
スクリプト実行後にコマンドでファイル名を変更するとかしてください。

[pcbginer]

ありがとうございます！
とても助かりました！
shiracamusさんがくださったプログラムの内容を勉強して、基礎的な知識をつけていきたいです！