Python：複数のCSVデータの読み込みと横結合について

Question

複数のCSVファイルがあり、それを読み込んで、timeをkeyにmergeで横結合したいです。
イメージとしては以下のようなファイルです。

ファイル：data_20190708.csv
time count
1 10
2 5

ファイル：data_20190710.csv
time count
1 8
2 3

ファイル：data_20190711.csv
time count
1 8
3 5
↓
time count20190708 count20190710 count20190711
1 10 8 8
2 5 3
3 5

そこで以下のようなコードを書いたところ、mergeの部分でどう書いたらいいかわからなかったため、質問させていただきました。
ちなみにmergeまでの部分は一部省略しておりますが、基本的に合っており、リスト：liにはきちんと読み込んだ数種類のデータが入っていました。
timeをkeyにしたいのですが、concatを使う場合はtimeをindex化しないといけないですよね？
また、後学のために教えていただきたいのですが、仮にtime、placeのようにkeyが2つ以上ある場合はどうしたらいいのでしょうか？
よろしくお願いいたします。

folder_list = ['20190708','20190709','20190710','20190711']

for j in folder_list:
    file_name = 'C://Users//~' + j
    all_files = glob.glob(file_name + '/*.csv')
    files = [s for s in all_files if ('data' in s)]

    li = []

    for filename in files:
        df = pd.read_csv(filename, skiprows=4, header=None)
        df = df.rename(columns={0:'time', 1:'count'+j})
        li.append(df)

    df2 = pd.merge(li[1],li, on='time')

Answer 1

質問にも言及されておりますが、 time をIndexに設定して、concat()を使う方法が一番シンプルかと思います。

for filename in files:
    df = pd.read_csv(filename, skiprows=4, header=None, names=['time', 'count'+j], index_col='time')
    li.append(df)

df2 = pd.concat(li, axis=1).reset_index()

どうしてもmerge()を使いたいのであれば、こんな感じでしょうか。

df = pd.DataFrame(columns=['time'])
for filename in files:
    tmp_df = pd.read_csv(filename, skiprows=4, header=None, names=['time', 'count'+j], index_col='time')
    df = df.merge(tmp_df, how='outer', on='time')

merge() は基本的に２つのDataFrameを結合するものなので、ループ毎に結合していく形式になります。

Answer 2

ループの中でadd_prefixメソッドを使うか文字列を結合するかして列名を予め意図するようなものに変えておき、二重forループを抜けた後に、pd.concatで結合するのが簡単に思えます。

列方向で結合する場合は、axis=1を指定してください。

追記

こんな感じでしょうか。

import pandas as pd

dfs = [pd.DataFrame({"time":[1, 2], "count":[5, 10]}),
       pd.DataFrame({"time":[1, 2], "count":[8, 3]}),
       pd.DataFrame({"time":[1, 3], "count":[8, 5]})]
names = ["20190708", "20190710", "20190711"]

df_all = pd.DataFrame({"time":[]})
for df, name in zip(dfs, names):
    df.rename(columns={"count":"count" + name}, inplace=True)
    df_all = df_all.merge(df, how="outer")
df_all.set_index("time", inplace=True)
print(df_all)

""" =>
      count20190708  count20190710  count20190711
time                                             
1               5.0            8.0            8.0
2              10.0            3.0            NaN
3               NaN            NaN            5.0
"""

Comments

[artg]

ご回答ありがとうございます。重ねて申し訳ございませんが、keyの指定についても教えていただけないでしょうか。
よろしくお願いいたします。