pythonでcsvファイルからグラフを作る作業を自動化したい

Question

前提・実現したいこと

pythonでcsvファイルからグラフを作成し、画像として保存するまでの一連の流れを自動化するアプリを作りたい。

私は大学院生で、研究のために比較的容量の大きいファイルをたくさん扱います。
とりあえず自力で出来たことは、Jupyter notebookを介し、csvファイルからグラフを作り画像として保存するくらいです。
しかし必要な場合は十数個のcsvファイルで上の作業をしなくてはなりません。これを自動化するためのアプリケーションを作りたいと考えています。

発生している問題・エラーメッセージ

いろいろ調べたのですが、アプリを作成するために何が必要なのかのイメージが出来ません。
「これをインストールすべき」みたいなアドバイスが欲しいです。
その後の具体的な作業や調べ事は自分でするつもりなので、方針だけでも教えてくれればと考えています。

該当のソースコード

csv→グラフまでの過程において自分で作ったコードです。
他のサイトから集めたコードを切り貼りしたようなコードなので要らない部分もあるかと思いますが…

import csv
import numpy as np
import pandas as pd
from pandas import DataFrame, Series
df1 = pd.read_csv('C1miss180224_300225.csv', header=4, encoding='utf-8')
df2 = df1[0:]
df2.to_csv("C1miss180224_300225_revise.csv")
import matplotlib.pyplot as plt
import pylab as plb
plb.figure(figsize=(20,8))
df = pd.read_csv('C1misasa180224_300225_revise.csv', names=['time', 'intensity'], header=0)
plt.plot(df['time'], df['intensity'], marker="")
plt.ylim([-0.01,0.01])
plt.xlim([0,0.000026])
plt.legend()
plt.title("20180224 ultrasonic signal without coupler")
plt.xlabel("time (s)")
plt.ylabel("intensity")
plt.show()

試したこと

補足情報（FW/ツールのバージョンなど）

Answer 1

1.csvファイルを任意のフォルダにまとめて入れる
2.Pythonが動作するように組んだバッチファイルを用意
3.2で作成したバッチファイルに、1のフォルダを投げ込んだら
フォルダ内のCSVをそれぞれ画像にして保存する等のようにしたらどうでしょう？

バッチファイルを以下のようにして任意の名前で保存

python きどうしたいPythonファイル %*

Pythonに以下の記述をするとargでドラッグドロップしたフォルダのパスが取得できます。

import sys

for arg in sys.argv:
    argが取得したパスになるのでこの中のファイルに対して作成されたプログラムが動作するようにする

Answer 2

1. 定数として与えているファイル名を変数で与えるように書き換え、今できているルーチンを関数化する。
2. 入力ファイルのリストを作るルーチンを書き足す。
3. リストからひとつづつファイル名を読み取っては変数に代入し、それをパラメータとして、最初に作った関数を呼び出すループを作る。

こんな感じで、最初は直接的に指定していたものを徐々に間接的に抽象的に汎用的にという方向に加筆修正していき、これをスクリプトファイルとして保存していけばいいでしょう。

あと、既存のファイルを順次探して何かする、というところは、全部pythonでやろうとするより、findコマンドとかxargsとか使ったほうが楽できる可能性があります。

Answer 3

アプリ・・・にする必要性は特にないんじゃないですかね。

1. 対象ファイルの一覧テキストファイル
2. 一個のファイルを処理して画像を保存する関数の作成

この２つがあれば今できる範囲で一括処理出来るようになりますよ。

1.は、一行に一つのファイル名を持つテキストファイルを作成

files.txt

C1miss180224_300225.csv
C1miss180224_300226.csv
...

として、

with open("files.txt", "r") as f:
    for filename in f.readlines():
        print(filename)

これで解析対象のファイル一覧を逐次読み込めます。

2.のファイル名を元に画像の保存する部分ですが、
savefigを使えばいいんじゃないでしょうか。

%matplotlib inline
import matplotlib.pyplot as plt

def func(filename):
    df = pd.read_csv(filename)
    for i in range(3):
        fig = plt.figure()
        ax = fig.add_subplot(1,1,1)
        ax.plot(df[0], df[1], "ro")
        fig.savefig("{}.png".format(filename[:-4])) # :-4は拡張子.csvを取り除くため

        plt.close()

この２つを組み合わせればやりたいことが実現できそうに思います。
方法はいくらでもありますが、とりあえずJupyter notebookで出来ることから試してみてはいかがでしょうか。