csvを読み込んだ二次元配列を特定の列を基準にソート

Question

numpyでcsvを配列に取り込み、特定の列を基準にソートして再出力しようとおもっています
今回は36列目を基準にソートしたいのですが、取り込む配列には1行目がヘッダーとなっています
ただソートしただけではヘッダー部分もソートの対象となってしまうので一度np.delete()でヘッダー部分を削除してsort()でソートを行い、再出力する前にヘッダー部分を挿入しようと思いました
しかしnp.delete()でヘッダーを削除したあとにソートを行おうとすると
TypeError: 'key' is an invalid keyword argument for sort()
といったエラーが返ってきます
np.delete()を行わずソートした場合、ソートはできるのですが、ヘッダー部分もソートの対象となってしまいます
以下がcsvの読み込み、ヘッダーの削除、ソート、ヘッダーの挿入部分のコードになります

filename = os.path.splitext(os.path.basename(sys.argv[1]))[0]
ha = (np.loadtxt(fname=sys.argv[1], dtype="str",delimiter=",",)).tolist()
header = ha[0]
ha = np.delete(ha, 0, 0)
ha.sort(key=lambda x: int(x[35]))
ha = np.insert(ha, 0, header)

検索してみても解決策がいまいちわかりませんでした
ヘッダー部分はそのままでソートを行う方法はなにかありますでしょうか？

Answer 1

can110さん、bsdfanさんが書かれているように、numpyでやるよりもpandasを使う方が簡単です。

その理由は、numpyのndarrayとpandasのDataFrameではデータの型の持ち方が(表面上)違うためです。

numpyのndarrayは多次元の配列で、全体として一つの型(dtype)を持ちます。そのために、１行目に文字列があり、２行目以降が全て浮動小数や整数であったとしても型はstrにしないと読み込めなかったりします。１行目を読み飛ばせば浮動小数として読める場合もありますが、文字列の列と浮動小数や整数の列が混在しているとそれもできません。

pandasのDataFrameは二次元の表で、列名(columns)を持ち、列ごとに型(dtype)を持ちます。そのため、csvファイルをより柔軟に読み込んで操作することができます。

実装上は、DataFrameの値(values)はnpのndarrayを使っているのですが、使用する場合のインタフェースはpandasが吸収してくれるのでnumpyの難しい部分を気にする必要はありません。

Comments

[mxrs2]

＞文字列の列と浮動小数や整数の列が混在しているとそれもできません。
まさにここで悩んでいました
他の方が言っているようにPandasを利用しようと思います

Answer 2

こういう場合はpandasを使うと簡単にできると思います。

numpyで頑張るなら、

ha = np.loadtxt(fname=sys.argv[1], dtype=str, delimiter=',')

# ヘッダ行を除いて35列目をintとしてargsort (+1はヘッダ行分)
idx = ha[1:, 35].astype(int).argsort() + 1


# ソート後の配列 (ヘッダ行(0)を先頭に追加)
ha = ha[np.r_[0, idx]]

# np.r_ が分かりにくければ、これでもいいです
# ha = ha[[0] + idx.tolist()]

Answer 3

この手の処理はpandasを使った方が簡単ですので利用を検討ください。

import pandas as pd

df = pd.read_csv('inp.txt')
"""
c1,c2,c3
a,1,30
b,2,20
c,3,10
"""

df = df.sort_values(df.columns[2]) # "c3"列で昇順ソート
print(df)
#  c1  c2  c3
#2  c   3  10
#1  b   2  20
#0  a   1  30

df.to_csv('out_pandas.txt', index=False)
"""
c1,c2,c3
c,3,10
b,2,20
a,1,30
"""

Answer 4

import os
import numpy as np
import sys

filename = os.path.splitext(os.path.basename(sys.argv[1]))[0]
ha = np.loadtxt(fname=sys.argv[1], dtype="str", delimiter=",",)
print(ha)
# [['a' 'one' 'two' 'three']
#  ['one' '0' '2' '5']
#  ['two' '5' '4' '3']
#  ['three' '1' '1' '8']]

header = ha[0]
# 1行目削除
ha = np.delete(ha, 0, 0)

# 列を指定して並び替え その時のインデックス情報を取得
index = np.argsort(ha[:, 2])
# 取得したインデックス情報で配列要素を並び替え
ha = ha[index, :]

# 削除したヘッダを挿入 
ha = np.insert(ha, 0, header, axis=0)
print(ha)
# [['a' 'one' 'two' 'three']
#  ['three' '1' '1' '8']
#  ['one' '0' '2' '5']
#  ['two' '5' '4' '3']]

こんな感じでどうでしょうか？
変更点は並べ替えの部分です。
また、自分の環境ではヘッダ挿入のところで1次元配列になってしまったので、axis=0の引数を追加しています。

参考にしたサイト(特定の列で並べ替え)
https://hiegph.hatenablog.com/entry/2019/01/07/234953