複数フォルダに入っているcsvを日時を基準に結合したい

Question

前提

大量の予測したcsvデータがあります。※予測データは「outフォルダ」の中には1か月分30個あります。
予測値は108時間分入っています。
out
|__
Aフォルダ⇒これが30個あります
|__A1.csv
A2.csv
A3.csv　....1時間ごと24個あります。

実現したいこと

すべて1時間ごとずれているデータになるので、日時を基準にすべてのデータを横に並べたいです。
2つのデータを指定してはできたのですが、フォルダ内にはいっているものを実行しようとするとできません。
いい方法が見つからず困っています。

発生している問題・エラーメッセージ

TypeError: Can only merge Series or DataFrame objects, a <class 'list'> was passed

該当のソースコード

import pandas as pd
import glob

# パスで指定したファイルの一覧をリスト形式で取得
csv_files = glob.glob('out/*/*.csv')

#読み込むファイルのリストを表示
for a in csv_files:
    print(a)

#csvファイルの中身を追加していくリストを用意
data_list = []

#読み込むファイルのリストを走査
for file in csv_files:
    data_list.append(pd.read_csv(file))

df = pd.merge(data_list, on='startTime', how='outer', indicator=False, right=None)
drop_df = df.drop(["lat", "lon", "windSpeed", "temperature"], axis=1)
drop_df = drop_df.set_index('startTime')

drop_df.to_csv("total_merge.csv",index=False)

試したこと

まず２つのデータでやりたいことが実行できるか試しました。
concatでも試してみたのですが、欲しいデータになりませんでした。

df = pd.merge(data_list, on='startTime', how='outer', indicator=False, right=None)に
right= Noneを入れていないと下記のエラーがでました。
TypeError: merge() missing 1 required positional argument: 'right'

Answer 1

TypeError: Can only merge Series or DataFrame objects, a <class 'list'> was passed
MergeできるのはSeries型もしくはDataFrame型だけやで！ListはMergeできんわ！　って怒られてます。要するにdata_ListがList型なんですね。
Merge関数を利用したい場合、先にdata_ListをDataFrame型に変換する必要があります。

df=pd.dataframe(data_List)
df_merge=pd.merge(df, on='startTime', how='outer', indicator=False, right=None)

こんな感じでしょうか?実際に走らせてないので動作保証はできませんが…

Comments

[退会済みユーザー]

早々にありがとうございます！
やってみたのですが、今度はこんなエラーが出てしまいました。
TypeError: Can only merge Series or DataFrame objects, a <class 'NoneType'> was passed

[pig_vba]

NoneTypeってことはcolmun名登録してないからon='startTime'で引っかかってるのかな?

私の方ではdata_Listの中身が不明なのでこちらのサイトを参考にcolumn名などを登録したり試してもらえますか?
https://www.yutaka-note.com/entry/pandas_list

[退会済みユーザー]

ありがとうございます。いろいろ試してみます。

[退会済みユーザー]

たびたび申し訳ありません。そのままdfを出力してみたら
すべてcolumns名(lat lot pprecipitationIntensity)が719 rows × 1 columns並んでしまっているのですが
格納させたそれぞれのデータをデータフレームに入れる方法ってどうしたらいいでしょうか。