Python 3次元のCSVファイルをreshapeで形状変更するときのエラー

Question

前提・実現したいこと

Pythonを用いて3次元のCSVファイルを、指定したxまたはyまたはzの値のときの数値をreshapeを用いて3Dグラフにプロットしたいです。xやyの値を指定したときは動作しグラフが表示されるのですがzを指定したときはエラーが発生してしまい表示されません。Pythonは初めて使用したのでreshapeの使い方が間違っているかもしれませんが教えて頂ければと思います。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "C:\Users\Z.py", line 18, in <module>
    gridX = dataYZ[:,0].reshape((42,-1))
ValueError: cannot reshape array of size 2519 into shape (20,newaxis)

該当のソースコード

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import shutil

Z = 0
N = 450 # N.csvまで保存

fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.set_title("title") 

for i in range(400,N+1): 
    filename = 'C:csv/{}.csv'.format(i)
    data = np.loadtxt(filename,delimiter=',')
    dataYZ = data[data[:,2]==Z,:] 
    gridX = dataYZ[:,0].reshape((42,-1))
    gridY = dataYZ[:,1].reshape((42,-1))
    out = dataYZ[:,3].reshape((42,-1))   
    ax.view_init(elev=90,azim=270)

    ax.auto_scale_xyz([-0.04,0.04],[-0.05,0.05],[-0.16,0.04]) 
    surf = ax.plot_surface(gridX.astype(int), gridY.astype(int), out, cmap='bwr', linewidth=0)
    #surf.set_clim(0,1.2) #ラベルの固定範囲
    cb = fig.colorbar(surf)
    plt.savefig('C:/Users/Desktop/test/test{}.png'.format(i),transparent=True) # fig保存
    plt.pause(.1) 
    cb.remove()
    surf.remove()

正常に動作したx,yを指定したコード

Xを指定したものについては

dataYZ = data[data[:,0]==X,:] #[行,列]
    gridY = dataYZ[:,1].reshape((42,-1)) 
    gridZ = dataYZ[:,2].reshape((42,-1)) 
    out = dataYZ[:,3].reshape((42,-1))   
    ax.view_init(elev=90,azim=270)

    ax.auto_scale_xyz([-0.04,0.04],[-0.05,0.05],[-0.16,0.04]) 
    surf = ax.plot_surface(gridY.astype(int), gridZ.astype(int), out, cmap='bwr', linewidth=0)

Yを指定したものについては

dataYZ = data[data[:,1]==Y,:] #[行,列]
    gridX = dataYZ[:,0].reshape((42,-1))
    gridZ = dataYZ[:,2].reshape((42,-1)) 
    out = dataYZ[:,3].reshape((42,-1))   
    ax.view_init(elev=90,azim=270)


    #plt.xticks(np.arange(0,37,5))
    #plt.yticks(np.arange(0,20,5))
    ax.auto_scale_xyz([-0.7,1.5],[-1.4,1.4],[-0.5,0.5]) 
    surf = ax.plot_surface(gridX.astype(int), gridZ.astype(int), out, cmap='bwr', linewidth=0)

で正常動作しています。

補足情報（FW/ツールのバージョンなど）

読み込みCSVファイルは下記のように左からx,y,z,データのようにカンマ区切りになったものです。今回テスト用に用いたデータは43×61×21です。20×20×20のような正方行列では正常に動作しました。
0,0,0,0.000e+00
0,0,1,0.000e+00
0,0,2,0.000e+00
0,0,3,0.000e+00
0,0,4,0.000e+00
0,0,5,0.000e+00
0,0,6,0.000e+00
0,0,7,0.000e+00
0,0,8,0.000e+00
0,0,9,0.000e+00
0,0,10,0.000e+00
0,0,11,0.000e+00
0,0,12,0.000e+00
0,0,13,0.000e+00
0,0,14,0.000e+00
0,0,15,0.000e+00
0,0,16,0.000e+00
0,0,17,0.000e+00
0,0,18,0.000e+00
0,0,19,0.000e+00
0,0,20,0.000e+00
0,1,0,0.000e+00
0,1,1,0.000e+00
0,1,2,0.000e+00
(以下略)

Answer 1

ValueError: cannot reshape array of size 2519 into shape (20,newaxis)

単純にデータのサイズが 2519 なので (20,-1) にresizeできない（20 で割り切れない）と言っているのではないですか。

Answer 2

直接の回答ではありませんが。
dataYZ = data[data[:,2]==Z,:]と行を絞っていることから、dataYZの行数は実際のCSVデータに依存して変わります。
まずはprint(dataYZ.shape)してみて、意図した行数が返ってきているか確認すべきかと思います。
なお、変数名についてですが、X,Y,Zの関係性から以下のほうが自然かと思います。

    # 略
    data = np.loadtxt(filename,delimiter=',')
    print(filename)
    dataXY = data[data[:,2]==Z,:]
    print(dataXY.shape) # (42の倍数, 4)であるはず！
    gridX = dataXY[:,0].reshape((42,-1))
    gridY = dataXY[:,1].reshape((42,-1))

追記

ちょっとこの問題の前提、意図を考えてみたのですが

前提として

• 3次元空間上x,y,zの一定範囲内に格子状に配置された点があり、各点ごとになんらかの値を持っている。

意図（欲しい結果）として

• 各座標軸に直行する平面ごとに、ある高さで（平面上の）点を抽出する。
• その平面上の点が持つ値を高さ方向として表示する

といった感じですかね。

とすると描画のためのグリッド座標を求めるためのreshape数って各平面ごとに異なる値を与えるべきなんじゃないかと思います。
以下、簡単な検証コードと結果例です。

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import itertools

XYZ = [3,4,5] # 各軸の点の数
C = 0         # 描画対象の基準面からの高さ

# テストデータ
data = []
for xyz in itertools.product(*[list(range(i)) for i in XYZ]):
    data.append((*xyz,1)) # とりあえず値は全部１に
data = np.array(data)

# 特定の点だけ分かりやすいように値を変える
data[ (data[:,0] == C) & (data[:,1] == 1) & (data[:,2] == 2),3] = 2 # X=C のYZ平面(1,2)上の点の値
data[ (data[:,0] == 1) & (data[:,1] == C) & (data[:,2] == 2),3] = 3 # Y=C のXZ平面(1,2)上の点の値
data[ (data[:,0] == 1) & (data[:,1] == 2) & (data[:,2] == C),3] = 4 # Z=C のXY平面(1,2)上の点の値


# X,Y,Z軸に直行する平面の順に表示する
for i in range(3):
    fig = plt.figure()
    ax = fig.add_subplot(111, projection='3d')

    # 平面を構成する２つの軸の列位置
    col = [0,1,2]
    del col[i]

    # 平面の軸ラベル
    label = ['X','Y','Z']
    del label[i]

    # 描画のためのreshape数
    xyz = XYZ.copy()
    del xyz[i]
    reshape_cnt = xyz[0]

    # X(orYorZ) = C 上の平面上の点のみ抽出
    data01 = data[data[:,i]==C,:]

    # 描画用の座標を取得
    grid0 = data01[:,col[0]].reshape((reshape_cnt,-1))
    grid1 = data01[:,col[1]].reshape((reshape_cnt,-1))
    out   = data01[:,3].reshape((reshape_cnt,-1))

    # 確認表示
    print('i={}, {}平面, line cnt={}, reshape_cnt={}, shape={}'.format(i, label, data01.shape[0], reshape_cnt, grid0.shape))

    #i=0, ['Y', 'Z']平面, line cnt=20, reshape_cnt=4, shape=(4, 5)
    #i=1, ['X', 'Z']平面, line cnt=15, reshape_cnt=3, shape=(3, 5)
    #i=2, ['X', 'Y']平面, line cnt=12, reshape_cnt=3, shape=(3, 4)

    # 軸の設定
    ax.set_xlabel(label[0] + "-axis")
    ax.set_xticks(range(max(XYZ)))
    ax.set_ylabel(label[1] + "-axis")
    ax.set_yticks(range(max(XYZ)))
    ax.set_zlabel("Value-axis")
    ax.set_zticks(range(max(XYZ)))

    surf = ax.scatter(grid0, grid1, out, cmap='bwr')
    plt.savefig('ret_{}_{}.png'.format(i,''.join(label)),transparent=True)

Comments

[退会済みユーザー]

ご回答ありがとうございます。
print(dataYZ.shape)をしたところ(2519, 4)と表示されました。本来は43×60×21のデータ(補足情報は誤記しておりました)なので2580行になるはずです。確認してみたところCSVファイルにおいて42×59×21までしかデータが無かったことが原因と思われます。お手数をおかけしました。
その場合なぜxとyについては出力ができたのでしょうか？また、2478行が返ってくるなら分かりますが2519が返ってくる理由もわかりません。

[can110]

43×60×21のデータということは50個のCSVファイル全体として
０列は0～42、1列は0～59、2列は0～20の値の組み合わせが重複なく格納されていると推測しますが
「data[data[:,???]==???,:]」のように行を抽出しているので
結局はCSVファイルの内容によるので何ともいえません。
x,yの場合でもprint文を入れてみて意図した行数、データが返ってきているか確認したほうがよいかと思います。

[退会済みユーザー]

ご推測通りです。CSVファイルは別のプログラムで出力したものなので重複はしていないはずです。
全て42×59×21までしかデータが無かったのでCSVファイルを出力するプログラム側も修正する必要はあるのですが…
xだと1260行=60×21、yだと882行=42×21でデータが足りない分が反映されていました。データが足りていない部分は3Dグラフ上で端になるので大きな影響はないので42×59×21のデータのみで出力できれば良いのですがなぜこのようになるのか不思議です。

[can110]

回答追記しました。
追記に記載しているreshape数含め、コード全体の処理および入力データが意図としたものになっているか
全般的に再確認したほうがよいかと思います。

こちらが推測した前提、意図が異なっていたらすみません。

[退会済みユーザー]

ご丁寧にありがとうございます。返信が遅くなってしまい申し訳ないです。
仰っていることがよく分かりました。
例えば質問時に提示したxを指定したコードであれば
gridY = dataYZ[:,1].reshape((61,-1))
gridZ = dataYZ[:,2].reshape((21,-1))
yを指定したコードであれば
gridX = dataYZ[:,0].reshape((43,-1))
gridZ = dataYZ[:,2].reshape((21,-1))
というようにreshapeが各平面に対応した値になるということですよね？reshapeで(-1)を指定すると元の形状から推測された値が入るということでしたのでこういうものだと思いこんでおりました。(これは列サイズに対してということだったのですね。)
ただ、現状のコードではcsvファイルを読み込んだ時点でreshapeの値が決まってしまう(x,yどちらも42以外ではValueError: cannot reshape array of size(以下略)というエラーが出てしまう。)ということはreshapeを使うこと自体が間違っているということなのでしょうか。

[can110]

まず、これまでの流れから、入力データが意図したデータになっていない可能性が高いと考えられます。
よって入力データが正しいかを確認すべきと思います。
データ量（行）が多くて手間であれば、行数の少ない簡単なものでよいので正しいデータを作成し
そのデータをもとにコードが正しく動くかを先に確認したほうがよいでしょう。

reshapeの考え方は、現在ご理解されているとおりでよいと思います。

[退会済みユーザー]

わかりやすく説明していただきありがとうございました。
まずは入力データを確認してみます。