質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.79%

フォルダ内の各csvファイルの最終行のみを新しいcsvに書き出したいです。

受付中

回答 3

投稿

  • 評価
  • クリップ 0
  • VIEW 776

matya

score 16

前提・実現したいこと

フォルダ内の各csvファイルの最終行のみを新しいcsvに書き出したいです。

発生している問題・エラーメッセージ

最終行だけを書き出したいのですが、全ファイルの全行書き出されてしまいます

該当のソースコード

import csv
import os

path = 'set_01'
filelist = []

for f in os.listdir(path):
    if os.path.isfile(os.path.join(path, f)):
        filelist.append(f)

temp = []
for file in filelist:
    if "Output" in file:
        v = []
        reader = csv.reader((open(file, "r", encoding="utf_8")), delimiter=',')
        for row in reader:
            v.append(row)
       temp.append(v[-1])

writer = csv.writer((open("Output_sum.csv","w",newline="")), delimiter=',')
writer.writerows(temp)

試したこと

agg.append(v[-1])
この部分を(v[0])とすると、1行目が大量に書き出されるのですが、
(v[0])と(v[-1])以外にすると、「IndexError: list index out of range」になりました。

これをしたことで何かわかったわけではないのですが、agg = []に意図したように情報を格納できていないことはわかりました。どうすればいいのでしょうか。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

0

v = []
reader = csv.reader((open(file, "r", encoding="utf_8")), delimiter=',')
for row in reader:
    v.append(row)
  temp.append(v[-1])

この部分でどのような処理を行っているか、ご自身で理解されていますか。

  1. 一行よみだし、リストに追加
  2. リスト末尾の要素を取り出す
  3. 一行よみだし、リストに追加
  4. リスト末尾の要素を取り出す
  5. 一行よみだし、リストに追加
  6. リスト末尾の要素を取り出す
  7. ...

当然、全行書き出されます。
temp.append(v[-1])は、全ての行を読み込んだ後で実行すべきです。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/05/28 13:19

    早速回答してくださり、ありがとうございます。
    そういうことだったのですね。
    勉強になりました!

    キャンセル

0

以下temp.append(v[-1])のインデントを直せば動作するかと思います。

        for row in reader:
            v.append(row)
            #temp.append(v[-1])
      temp.append(v[-1])

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/05/28 13:20

    インデントを直したところ、ちゃんと書き出されました!
    ありがとうございました!

    キャンセル

0

プログラミングしなくても シェルでファイルの先頭行と最終行を抽出することができます。

head -1 ファイル名 > work.csv
tail -1 ファイル名 >> work.csv

python からこの操作を行わせて work.csv を読み込むようにするか、
事前にこの処理を行ってから csvファイルをつくり python でその csv ファイルを読み込むようにしては如何でしょう?

追記
a.py

import os

os.system("head -1 a.csv > work.csv")
os.system("tail -1 a.csv >> work.csv")

実行例
イメージ説明

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/06/02 09:08

    プログラミングしないという手段もあるのですね。ありがとうございます。

    初歩的な質問で申し訳ないのですが、教えていただいた方法でやる場合、
    head -1 ファイル名 > work.csv
    tail -1 ファイル名 >> work.csv
    の前にどのような操作が必要なのでしょうか。

    そのcsvを参照するようにするにはどうすればよいのでしょうか。お手数をおかけしますが、よろしくお願い致します。

    キャンセル

  • 2019/06/02 11:13

    回答に追記しました。a.csv からwork.csv を生成しています。
    python で書いてますが、シェルスクリプトで書いてもよいです。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.79%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る