【Python】読み込んだ複数のCSVファイルを1つにまとめたい

Question

Python初心者で大変恐縮ではございますが、複数のCSVファイルの扱い方で困っております。

以下に示すようなCSVファイルが複数あり（例として2つ示しています）、Pythonを使用して、時系列毎にカラム名が"logs"の列の値を足しこんだCSVファイルを書き出したいと思っております。

• File1.csv - File2.csv

|dataTime |logs|　　　|dataTime |logs|
|2018/10/1 0:00:00|160|　　　|2018/10/1 0:00:00|120|
|2018/10/1 0:01:00|110|　　　|2018/10/1 0:01:00|100|
|2018/10/1 0:02:00|130|　　　|2018/10/1 0:02:00|120|
・
・
・
↓↓↓(logsの値をsumして以下のように書き出したいと思っております)

|dataTime |logs|
|2018/10/1 0:00:00|280|
|2018/10/1 0:01:00|210|
|2018/10/1 0:02:00|250|
・
・
・

ファイルが少なければ手作業でも出来るのですが、複数ある為、作業を簡略化したいと考えております。
初歩的な質問かもしれませんが、詳しい方、ご教授頂けますと幸いです。

Answer 1

pandas を使わずに書いてみました。

import csv

with open('file1.csv') as csvfile:
    data = {row['dataTime']: int(row['logs'])  for row in csv.DictReader(csvfile)}

with open('file2.csv') as csvfile:
    reader = csv.DictReader(csvfile)
    for row in csv.DictReader(csvfile):
        k = row['dataTime']
        v = int(row['logs'])
        if data.get(k):
            data[k] = 0
        data[k] += v

with open('file3.csv', 'w', newline='') as csvfile:
    fieldnames = ['dataTime', 'logs']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

    writer.writeheader()
    for k in sorted(data.keys()):
        writer.writerow({'dataTime': k, 'logs': data[k]})

実行例

Answer 2

これで行けると思います。

import pandas as pd

File1 = pd.read_csv("File1.csv", "|")
File2 = pd.read_csv("File2.csv", "|")

File = pd.concat([File1, File2]).groupby("dataTime")[["logs"]].sum()

File.to_csv("File3.csv", "|")

Comments

[beathacker]

お返答頂きありがとうございます。しっかりとsumする事が出来ました。本当にありがとうございます。

Answer 3

dataframeに両方追加で読み込み、dataTimeカラムでgroupbyしてsumすれば良いかと。

Answer 4

末尾だけ違うものをフォルダごと読み込む場合

import pandas as pd
import glob
import os

path = r"C:\ディレクトリ"
all_files = glob.glob(os.path.join(path, "File*.csv"))

all_pd = (pd.read_csv(f) for f in all_files)
File = pd.concat(all_pd, ignore_index=True)

File.to_csv("File.csv")

Answer 5

import pandas as pd

File1 = pd.read_csv("File1.csv")
File2 = pd.read_csv("File2.csv")

File = pd.concat([File1, File2])

File.to_csv("File.csv")