Q&A
「よい解決法」とは具体的にどのようなものを期待しているのでしょうか？
基本的に従来の方法と同じ手順をdataframeで実装すればよいかと思いますが、その実装方法が分からないということでしょうか？
そもそも「エクセル最大行数を超えて」ということは百万行以上あるようですから、CSVではなくDBに格納すべきと思いますが。
前提・実現したいこと
複数のcsv形式のシステムログファイルを1つのdataframeに読み込んで
pandasで行探索して追記したいです。
csvのログファイルは以下のような例になります。
Time ID Message 確認要否
11:01:34.567 10001 接続要求 否
11:01:34.710 10002 接続要求 否
11:01:34.989 10003 接続要求 要
:
11:01:37.567 10001 変更要求 ★
11:01:38.102 10003 変更要求 ★
:
11:05:10.829 10001 切断要求
:
11:17:22.810 10001 接続要求 要
:
11:23:10.220 10001 変更要求 ★
接続要求に対してIDが払い出されます。
接続要求のMessageに対しては確認要否の判定が付きますが、
変更要求のMessageに対しては確認要否の判定が付かないシステムです。
IDは切断手順後に別の手順に再利用されます。
その場合、過去に払い出された時とは確認要否が異なる場合があります。
応答Messageは別に除外しており考慮する必要はありません。
変更要求のMessageのIDが確認要か否かを分かるように判定を追加したいです。
openpyxlではforとifで"変更要求のMessageのID + 接続要求のMessage"を条件に
セルを指定して(-1行)で遡って同じIDの過去最新の接続要求を探索しヒットした行の確認要否を
変更要求のIDの★の箇所にコピーして、その後にbreakeして抜けるようにして実現できておりました。
最近はログ行数増えており、エクセル最大行数を超えてツールが落ちるようになった為、
pandasで実現したいのですが、実装方法がわからずできておりません。
良い方法がありましたら是非ご教示頂きますようお願いたします。
具体的に実装するうえでどこまで（CSVの読み込みまでは分かるなど）、およびどの部分からが分からないかを記載するとよいかと思います。
また、現状openpyxlで実現できているコードを提示すると、それに沿った回答が得られやすくなるかと思います。
ご指摘頂きましたようにopenpyxlと同じ方法で動かしたいのですがセルのような指定方法がわからずできておりません。文言を修正させて頂きました。
またDBに格納とはcsv形式のログをpythonでDBに格納するという手法でしょうか。
ご指摘頂きましたとおりと思いましたのと、業務で活用しようとしておりますので、時間が取れれば問題ない形でopenpyxlの現状のコードを追記させて頂こうと思います。
まずは現状のopenpyxlで実現できているコードを示すのがよいかと。
> またDBに格納とはcsv形式のログをpythonでDBに格納するという手法でしょうか。
何によってとは限らず、です。大抵のDBは、CSVから取り込む手段が用意されているので。
回答1件
0
自己解決
openpyxlの方法と同じ手順相当のコードをdataframeで実装できました。
お手数をおかけいたしました。
投稿2021/10/13 10:13
総合スコア3
あなたの回答
tips
プレビュー
