Q&A
新しく発生した未処理のCSVファイルは、すべてバッチ処理対象としてよいのでしょうか。例えばdata01.csv, data02.csvの処理済みファイルがあって、新しくdata03.csv, data04.csvが発生したとき、同じフォルダー内にはdata01.csv～data04.csvの4つのファイルがあることになりますが、data03.csv, data04.csvの2つのファイルはとにかくバッチ処理する、ということでしょうか。
もしそうであれば、SQLを使うまでも無い気がしています。
工場に設置した設備からとったログcsvファイルを処理しており、そのファイルのデータベース化について教えていただけないでしょうか？
ここまでやったこと
工場のある工程で、1バッチ（1回の製造サイクル）毎に10個のセンサーから各々csvファイルが出てきます。Pandasを利用して、このcsvファイルを複数バッチ分前処理して、1つのDataFrameにまとめるところまでは完了しました。
困っていること
csvファイルは、一つのフォルダに人手でコピーしているのですが、次第に増えてきています。前処理は全csvファイルを読んで行うので、次第に処理が重くなっていきます。
実施したいこと
１、管理上、すべてのcsvファイルは1つのフォルダに保存したい（ファイル名でバッチ番号とセンサ名は識別可能）
２、全バッチ・全センサを統合したDataFrameをSqliteに格納にしたい
３、新しいバッチ分のcsvファイルが格納されたときは、新しいバッチ分だけPandasで前処理し、２に追加したい。
SQLに詳しくないのですが、上の太字部分をどう実現したらいいでしょうか？
今考えている流れ
イメージとして、以下を考えています。
１、ファイル名からバッチ番号とセンサ名を取得
２、SQLを使って、データベースに格納されているバッチ番号とセンサ名を取得
３、１と２を比較し、前処理すべき対象csvを特定
４、対象csvをpandasで処理し、Insertでデータベースに追加
SQLを使ったことがないので、この流れで問題ないでしょうか？
こういう方がよりシンプルにできるよ！などアドバイスいただけたら幸いです。
元データを保管するため、未処理csvファイルはそのままにしており、処理済みの各csvは作っていません。代わりに全データをまとめたDataFrameを作ってcsvにしています（解析するときには１つのDataFrameに乗っけるため）。
処理済みcsv保管フォルダを作って、そこに順次格納する方法もあると多いますし、おっしゃる通りSQLをつかなわなくても対応はできるところはあると思っています。ただ、1つのDataFrameにまとめた後はSQLの方が操作が早いかな、という感覚です。
回答2件
0
ベストアンサー
ありがとうございました！シンプルでわかりやすい構成だったので、この方法でトライアルしようと思っています。SQLは詳しくないですが、前処理には欠損値処理、外れ値処理、時間データのダウン/アップサンプリング等行っているので、Pandasでの処理で分けようと思います。
0
こんにちは。
いろいろやりようはあると思います。細かい技術的なことで改善されることもあると思います。
一つの案は、
・SQLiteデータベースに、取り込まれたCSVファイル名のデータベースというものを作る。
バッチ番号、センサー名、CSVファイル名、保存フォルダ名、をデータ項目として持っていればいいと思います。
・バッチ実行履歴のCSVファイルは週次、月次などで保存フォルダを変える。
・CSVファイル名に日付、時間を入れる
日付で検索することで処理が早くなると思います。
・最新の保存フォルダをチェックして、取り込まれたCSVの履歴データベースの「CSVファイル名」（これも最新の保存フォルダにあるべきものに絞る）にないファイルが発生したら、結合できるCSVを適宜処理・結合して取り込む
こうすると、最新のものの入っている週や月だけ見ればよいので、CSVのファイル検索の処理が軽くなります。
一つの案です。沢山やり方はあると思います。
ご検討ください。
投稿2020/03/25 23:14
総合スコア37
あなたの回答
tips
プレビュー
