CSVファイルが上手く連結できない

Question

只今，以下のように画像を配列にして，CSVファイルにして保存しております．この結果，200個のCSVファイルが得られました．

import cv2
import numpy as np
import glob

for path in glob.glob('./*.jpg'):
                      
                      
    im = cv2.imread(path).astype(int)
                
    b,g,r = cv2.split(im)
    x = (b+g+r).flatten()                  
    y = np.argsort(np.sort(x))
                      
    B = b.flatten()
    G = g.flatten()
    R = r.flatten()


    j= [(B[y[0]]),(B[y[99]]),(B[y[199]]),(B[y[299]]),(B[y[399]])]

    k= [(G[y[0]]),(G[y[99]]),(G[y[199]]),(G[y[299]]),(G[y[399]])]

    l= [(R[y[0]]),(R[y[99]]),(R[y[199]]),(R[y[299]]),(R[y[399]])]


    m = np.r_[j,k,l]
    
                      
    name = path.split('\')[-1]
    np.savetxt(f'./csv/{name}.csv', m , delimiter = ',')

その後，得られた200個のファイルを以下のようにして一つのCSVファイルにを結合しました．

import json,csv

import pandas as pd

import glob





csv_files = glob.glob('./csv/*.csv')

list = []



for f in csv_files:

    list.append(pd.read_csv(f))

df = pd.concat(list)



df.to_csv("./csv/TOTAL-test.csv")

しかしながら，結果として得られたCSVは値がバラバラに配置されて入力されたCSVとして出力されました．結合する前の一つあたりのCSVの値（15個分）はまとまっています．
得たかったものは，15*200の値が並べられたCSVファイルなのですが，何が間違っているのでしょうか？元の画像の名前などによるのでしょうか？

Comments

[y_waiwai]

どういうCSVデータがどういうCSVデータになったんでしょうか。
また、目標とするデータ例を提示してください

Answer 1

２点ほど。

(1)
まず、記述していただいたコードを見る限り、CSVを生成時に特にHeader行を書いていないように見えます。
にも関わらず、CSVデータを
pd.read_csv(f)
として読みこんでおりますので、データの１行目をヘッダとして扱われている可能性があるのではないでしょうか。

これを避けるためにはデータの読み込みを
pd.read_csv(f, header=None)
とするべきかと思います。

更には、CSVのファイル名をカラム名にして

fname = os.path.splitext(os.path.basename(f))[0]
list.append(pd.read_csv(f, header=None, names=[fname]))

のようにするのも有りかと思います。

(2)
15*200の値が並べられたCSVファイルを得たいのであれば、各データを縦方向ではなく横方向に結合する必要がありますので、
pandas.concat(list)
には axis=1のパラメータを追加して
pandas.concat(list, axis=1)
とする必要があるのではないでしょうか。

以上まとめると、こんな感じになるかと思います。

import pandas as pd
import glob
import os

csv_files = glob.glob('./csv/*.csv')

lst = []

for f in csv_files:
    fname = os.path.splitext(os.path.basename(f))[0]
    lst.append(pd.read_csv(f, header=None, names=[fname]))

df = pd.concat(lst, axis=1)

df.to_csv("csv/TOTAL-test.csv")

Answer 2

CSVファイルの処理順についての質問でしょうか？

glob.globで返されるファイル名の並びは辞書順とは限りません。
path = sorted(glob.glob('～')のように自力でソートする必要があります。

なお、ファイル名が1.csv,2.csv,...10.csvのような場合、通常の辞書順ソートでは1.csv,10.csv,2.csv,...と並ぶことに注意ください。
数値順にソートしたい場合は過去質問Python3 ファイルを順番通りに読み込みたいを参照ください。