学習に用いるデータのフォルダ分類作業の効率化

Question

・横軸が速度、縦軸が力のグラフを分類してくれるモデルを作りたいと考えています。
グラフの測定データ(CSV)を入力すると、実験が分類したグラフのパターンが出力されるモデルを想定しています。

・データはグラフの画像ではなく、CSV形式を使用します。

・データ構造は以下の構造に従い，分類したいグループごとにフォルダ分けされています。
全部で3つのグループであり、グループ名を0,1,2としています。

./data
|
|- 0
| |- data1.csv
| |- data3.csv
| |- data4.csv
| |-　 　　　　　・
| |-　 　　　　　・
|
|- 1
| |- data2.csv
| |- data14.csv
| |-　 　　　　　・
| |-　 　　　　　・
|
|- 2
| |- data5.csv
| |- data6.csv
| |-　 　　　　　・
| |-　 　　　　　・
|

今回質問したいのは、ここでフォルダ分けする作業についてです。
これまでは手作業ですべて行っていましたが、分類の変更やデータの削除があった場合の管理が大変なため、表で直接csvデータの管理をしたい、と考えています。
参考になるURLなどありましたらお願い致します。

Answer 1

管理用のファイルを作って適当に編集し、pythonから読み込んで然るべく処理。

管理用のファイルのフォーマットは自由だが、たとえばcsvにするなら

0,1,2
data1.csv,data2.csv,data5.csv
data3.csv,data14.csv,data6.csv
data4.csv,,

みたいなフォーマットにする。csvだとエクセルなどから読み書きできるのが強みといえば強み。

べつに今風にJSONとかXMLにしても良いし、その辺は自由。便利に読み書きできる手段があるかどうかで利便性が決まると思うので、その辺で決める。

データはすべて1フォルダに入れておき、読み込み時は管理用のファイルを先に読み込んで、それの要素をループしながらどのファイルにどのクラスのラベルを貼るか決める。

なにせアドホックな処理なのであまり参考になる情報とかは見つからないと思いますが、やること自体は単純だし、どう実装してもある程度は目的を達成できると思うので、やりたいようにやれば良いと思います。

Comments

[n7n7]

ありがとうございます、アドホック処理で調べてみます。助かりました。

[hayataka2049]

アドホック - Wikipedia https://ja.wikipedia.org/wiki/%E3%82%A2%E3%83%89%E3%83%9B%E3%83%83%E3%82%AF

一般的な目的のために使われる処理ではなく、用途によってその場限りで書かれることが多いような処理なので調べても情報は出てこないでしょう、と書ききました。