フォルダ内の各csvファイルの最終行のみを新しいcsvに書き出したいです。

Question

前提・実現したいこと

フォルダ内の各csvファイルの最終行のみを新しいcsvに書き出したいです。

発生している問題・エラーメッセージ

最終行だけを書き出したいのですが、全ファイルの全行書き出されてしまいます

該当のソースコード

import csv
import os

path = 'set_01'
filelist = []

for f in os.listdir(path):
    if os.path.isfile(os.path.join(path, f)):
        filelist.append(f)

temp = []
for file in filelist:
    if "Output" in file:
        v = []
        reader = csv.reader((open(file, "r", encoding="utf_8")), delimiter=',')
        for row in reader:
            v.append(row)
　　　　　　　temp.append(v[-1])

writer = csv.writer((open("Output_sum.csv","w",newline="")), delimiter=',')
writer.writerows(temp)

試したこと

agg.append(v[-1])
この部分を(v[0])とすると、1行目が大量に書き出されるのですが、
(v[0])と(v[-1])以外にすると、「IndexError: list index out of range」になりました。

これをしたことで何かわかったわけではないのですが、agg = []に意図したように情報を格納できていないことはわかりました。どうすればいいのでしょうか。

Answer 1

プログラミングしなくても シェルでファイルの先頭行と最終行を抽出することができます。

head -1 ファイル名 > work.csv
tail -1 ファイル名 >> work.csv

python からこの操作を行わせて work.csv を読み込むようにするか、
事前にこの処理を行ってから csvファイルをつくり python でその csv ファイルを読み込むようにしては如何でしょう？

追記
a.py

import os

os.system("head -1 a.csv > work.csv")
os.system("tail -1 a.csv >> work.csv")

実行例

Comments

[matya]

プログラミングしないという手段もあるのですね。ありがとうございます。

初歩的な質問で申し訳ないのですが、教えていただいた方法でやる場合、
head -1 ファイル名 > work.csv
tail -1 ファイル名 >> work.csv
の前にどのような操作が必要なのでしょうか。

そのcsvを参照するようにするにはどうすればよいのでしょうか。お手数をおかけしますが、よろしくお願い致します。

[katoy]

回答に追記しました。a.csv からwork.csv を生成しています。
python で書いてますが、シェルスクリプトで書いてもよいです。

Answer 2

以下temp.append(v[-1])のインデントを直せば動作するかと思います。

        for row in reader:
            v.append(row)
            #temp.append(v[-1])
　　　   temp.append(v[-1])

Comments

[matya]

インデントを直したところ、ちゃんと書き出されました！
ありがとうございました！

Answer 3

v = []
reader = csv.reader((open(file, "r", encoding="utf_8")), delimiter=',')
for row in reader:
v.append(row)
temp.append(v[-1])

この部分でどのような処理を行っているか、ご自身で理解されていますか。
0. 一行よみだし、リストに追加
0. リスト末尾の要素を取り出す
0. 一行よみだし、リストに追加
0. リスト末尾の要素を取り出す
0. 一行よみだし、リストに追加
0. リスト末尾の要素を取り出す
0. ...

当然、全行書き出されます。
temp.append(v[-1])は、全ての行を読み込んだ後で実行すべきです。

Comments

[matya]

早速回答してくださり、ありがとうございます。
そういうことだったのですね。
勉強になりました！