csv形式のシステムログファイルをdataframeに読み込んでpandasで行を遡って探索して追記したいです。

前提・実現したいこと

複数のcsv形式のシステムログファイルを1つのdataframeに読み込んで
pandasで行探索して追記したいです。

csvのログファイルは以下のような例になります。

Time ID Message 確認要否
11:01:34.567 10001 接続要求否
11:01:34.710 10002 接続要求否
11:01:34.989 10003 接続要求要
:
11:01:37.567 10001 変更要求 ★
11:01:38.102 10003 変更要求 ★
:
11:05:10.829 10001 切断要求
:
11:17:22.810 10001 接続要求要
:
11:23:10.220 10001 変更要求 ★

接続要求に対してIDが払い出されます。
接続要求のMessageに対しては確認要否の判定が付きますが、
変更要求のMessageに対しては確認要否の判定が付かないシステムです。
IDは切断手順後に別の手順に再利用されます。
その場合、過去に払い出された時とは確認要否が異なる場合があります。
応答Messageは別に除外しており考慮する必要はありません。
変更要求のMessageのIDが確認要か否かを分かるように判定を追加したいです。

openpyxlではforとifで"変更要求のMessageのID + 接続要求のMessage"を条件に
セルを指定して(-1行)で遡って同じIDの過去最新の接続要求を探索しヒットした行の確認要否を
変更要求のIDの★の箇所にコピーして、その後にbreakeして抜けるようにして実現できておりました。
最近はログ行数増えており、エクセル最大行数を超えてツールが落ちるようになった為、
pandasで実現したいのですが、実装方法がわからずできておりません。

良い方法がありましたら是非ご教示頂きますようお願いたします。

can110

2021/10/12 12:52 編集

「よい解決法」とは具体的にどのようなものを期待しているのでしょうか？基本的に従来の方法と同じ手順をdataframeで実装すればよいかと思いますが、その実装方法が分からないということでしょうか？そもそも「エクセル最大行数を超えて」ということは百万行以上あるようですから、CSVではなくDBに格納すべきと思いますが。

can110

2021/10/12 13:11

具体的に実装するうえでどこまで（CSVの読み込みまでは分かるなど）、およびどの部分からが分からないかを記載するとよいかと思います。また、現状openpyxlで実現できているコードを提示すると、それに沿った回答が得られやすくなるかと思います。