複数行列への分割について

Question

Pythonによる複数行列の解析に関する質問です。
４行n列の.txtファイルを読み込んで分割を行いたいと考えています。
txtファイルは下記のような内容です。

531 1 1 20
532 1 1 24
533 1 1 28
531 1 2 21
532 1 2 24
533 1 2 29
531 1 3 21
532 1 3 23
533 1 3 27
......
531 1 11 20
531 1 11 25
531 1 11 28

c, r = A.shapeにより行列を読み込むことはできたのですが、
３段ずつ分割といった、段数指定をせずに３列目の数値の変化ごとに行列を分割したいと考えています。

最終的には分割した行列を平均して１列目と４列目のプロットや
分割した行列の４列目の最大値を横軸３列目でプロットしたいと考えています。

###発生している問題・エラーメッセージ

###該当のソースコード

import numpy as np
import matplotlib.pyplot as plt

fname = "/Users//abc.txt"

A = np.loadtxt(fname)
c, r = A.shape

B =np.split(A, [1,3]) 

plt.figure()
plt.plot(B[:,0],B[:,3])

###試したこと
段数を指定することによる分割は行いました。
１つ１つ調べなければならないので時間がかかります。

Answer 1

もっとスマートにやる方法がある気がしますが... とりあえずこれで。

import numpy as np

def find_border(row_array):
    row_array_a = np.append(row_array.copy(), -1)
    row_array_b = np.append(-1, row_array.copy())
    return np.arange(row_array.size+1)[row_array_a != row_array_b]

def find_horizon(dim2_array, key_index):
    key_row = dim2_array[:, key_index]
    return find_border(key_row)
    
def main():
    A = np.loadtxt('nptext.txt')
    horizon = find_horizon(A, 2)

    for i in range(1, len(horizon)):
        print(A[horizon[i-1]:horizon[i]])

if __name__ == '__main__':
    main()

Comments

[susum]

回答ありがとうございます。
早速、pythonに入れてみました。
プロットしようと思い
plt.figure()
plt.plot(A[horizon[:,2]:horizon[:,3]])
NameError: name 'horizon' is not defined
となりました。horizonに格納されているわけではないのでしょうか？
勉強不足であると思うのでもう一度やってみます。

[LouiS0616]

not definedですか...
タイポか、スコープの違いのような気がします。
問題の個所を見てみないとなんとも言えないです。

Answer 2

Pandasを使うという選択肢はありですかね？
この手の処理はPandasを使うほうが楽です。

import pandas as pd
import numpy as np

# データ読み込み
fname = "/Users//abc.txt"
df = pd.read_csv(fname, sep=' ', header=None)
# ３列目の値でグループ分け
grp = df.groupby(2)
# 全てのグループをnumpy配列で表示
for col2_val, grouped_df in grp:
    print(grouped_df.as_matrix())

---

【補足】

import matplotlib.pyplot as plt
# テーブル全体の基本統計量を表示
print(df.describe())
# テーブル全体の積算を表示
print(df.sum())
# グループ毎の積算を表示
print(grp.sum())
# グループ毎の平均を表示
print(grp.mean())
# グループよりcol2が7のグループを取得
grp7_df = grp.get_group(7)
# 上記のグループ(col2=7)をx軸(col0),y軸(col3)でプロット
grp7_df.plot(kind='scatter', x=0,y=3)
plt.show()

Comments

[susum]

回答ありがとうございます。
txtをcsvで読み込む方法があることを初めて知りました。

df = pd.read_csv(fname, sep=' ', header=None)
この文で「# ３行目の値でグループ分け」できる理由がわかりません。
csv形式の仕様でしょうか？

とりあえず、csvへの読み込みを勉強しようと思います。

[magichan]

pandasは表計算を行うためのライブラリです。
df = pd.read_csv(fname, sep=' ', header=None)
は単純に、データを２次元のテーブルとして読み込んだだけです。
で、グループ分けをしているのは次の
grp = df.groupby(2)
の部分で、これが３列目(index=2)の値によってグループを分けなさい。という指示になります。
で次からのループで、上記で分けたグループ毎にテーブルを読み込んで、as_matrix() でnumpy配列に変換しております。

[susum]

回答ありがとうございます。
pandasによる分割やグループ分けについて構文は理解できました。
分割した各行列をプロットすることもできたのですが、
grp.plot(0,3)
ではx,y軸の指定はできても指定した行列のプロットができません。
以前、grp[1,10].plot(0,3)のように[ , ]で指定することでプロットしたい順番の行列をプロットできた気がしたのですが出来ませんでした。

指定グループの表示や全グループの積算は可能でしょうか？

[magichan]

基本的にやりたいことは可能かと思いますが、具体的にどのような処理を行いたいのかの詳細がわからないので回答にサンプルを追加しました。
参考にしてください

[susum]

ありがとうございます！