最大2×2のデータを対角状にたくさん並べたい

Question

実現したいこと

sample10.txtは以下のようなファイルです。
4
0
0
13

sample20.txtは以下のようなファイルです。
5
0
0
8

5
0
1
4

5
1
1
1

sample30.txtは以下のようなファイルです。
6
0
0
5

6
1
0
8

各塊は、
x座標
y座標
z座標
値
の順番に並んでいます。

このデータを以下の図のようなデータにしたいです。

対角状に並べるデータのサイズは最大で2×2です。（1×1、1×2、2×1、2×2があり得ます）

一応できたのですが、14～27行目は似たような内容を書いています。
今はsample10.txt、sample20.txt、sample30.txtの3つのファイルですが、もっとファイルの個数が多くなることを想定しています。ファイルの個数が多くなったときには、コードをどのように直したら良いでしょうか。

該当のソースコード

import numpy as np
import pandas as pd
from scipy.linalg import block_diag

cols = 2
rows = 2   
R10 = np.arange(rows*cols,dtype=np.float32).reshape(rows,cols)
R10[...] = 0
R20 = np.arange(rows*cols,dtype=np.float32).reshape(rows,cols)
R20[...] = 0
R30 = np.arange(rows*cols,dtype=np.float32).reshape(rows,cols)
R30[...] = 0

with open('sample10.txt') as f:
    blocks = f.read().split('\n\n')
R10[0][0] = int(blocks[0].split('\n')[3])

with open('sample20.txt') as f:
    blocks = f.read().split('\n\n')
R20[0][0] = int(blocks[0].split('\n')[3])
R20[0][1] = int(blocks[1].split('\n')[3])
R20[1][1] = int(blocks[2].split('\n')[3])

with open('sample30.txt') as f:
    blocks = f.read().split('\n\n')
R30[0][0] = int(blocks[0].split('\n')[3])
R30[1][0] = int(blocks[1].split('\n')[3])

A = block_diag(R10, R20, R30)
print(A)
#[[13.  0.  0.  0.  0.  0.]
# [ 0.  0.  0.  0.  0.  0.]
# [ 0.  0.  8.  4.  0.  0.]
# [ 0.  0.  0.  1.  0.  0.]
# [ 0.  0.  0.  0.  5.  0.]
# [ 0.  0.  0.  0.  8.  0.]]
 
A = A[np.ix_(~np.all(A == 0, axis=1), ~np.all(A == 0, axis=0))]
print(A)
#[[13.  0.  0.  0.]
# [ 0.  8.  4.  0.]
# [ 0.  0.  1.  0.]
# [ 0.  0.  0.  5.]
# [ 0.  0.  0.  8.]]

試したこと

データファイルを1個のフォルダの中にまとめて保存し、その中のファイルについて14～27行目のような操作をすれば良いのではないかと考えています。あるいは、ファイル名を関数の変数にすれば良いかなと思っています。（やり方が分かりませんでした）

sample10.txt、sample20.txt、sample30.txtの行数を調べると、

nl = len(open('sample10.txt').readlines())
print(nl)#4
nl = len(open('sample20.txt').readlines())
print(nl)#14
nl = len(open('sample30.txt').readlines())
print(nl)#9

なので、14、18、24行目の場合分けは、ファイルの行数で行えば良いかなと思っています。

Comments

[TakaiY]

質問の説明の意味がわからないのはぼくだけだろうか。

各塊は、
x座標
y座標
z座標
値

のような構成で、 ファイルにはたとえば、
4
0
0
13
とあるので、これが対応しているのだろうと思います。
で、(x, y, z) = (4, 0, 0)の値が13なので、 表の(y, z) = (0, 0) のところが13になっているのでいいのですが、
5
0
0
8
この8は、どこにあるものですか？
あと、ｘはどこにいった？

また、「対角状に並べるデータのサイズは最大で2×2です。」の意味もわかりません。何をどこに対角状にならべるのでしょう。

[yyicp]

>TakaiY様
コメントありがとうございます。

説明が分かりづらくて申し訳ありません。図を直しましたので、ご確認ください。

[TakaiY]

そういうことだしたか。理解できました。 ありがとうございます。

Answer 1

numpy.loadtxt で読み込んで、4列の2次元配列(shape (-1, 4))に変換するとよいかと思います。

import numpy as np
import pandas as pd
from scipy.linalg import block_diag

data_files = ['sample10.txt', 'sample20.txt', 'sample30.txt']
R = []
for f in data_files:
    data = np.zeros((2, 2))
    # 4行ごとに分割(空行はスキップされる)
    for blk in np.loadtxt(f).reshape((-1, 4)):
        data[*blk[1:3].astype(int)] = blk[3]
    R.append(data)

A = block_diag(*R)
print(A)
#[[13.  0.  0.  0.  0.  0.]
# [ 0.  0.  0.  0.  0.  0.]
# [ 0.  0.  8.  4.  0.  0.]
# [ 0.  0.  0.  1.  0.  0.]
# [ 0.  0.  0.  0.  5.  0.]
# [ 0.  0.  0.  0.  8.  0.]]
 
A = A[np.ix_(~np.all(A == 0, axis=1), ~np.all(A == 0, axis=0))]
print(A)
#[[13.  0.  0.  0.]
# [ 0.  8.  4.  0.]
# [ 0.  0.  1.  0.]
# [ 0.  0.  0.  5.]
# [ 0.  0.  0.  8.]]

Comments

[yyicp]

できました。
どうもありがとうございました。

[yyicp]

sample1.txtの中身を
4
0
0
13.1
にすると、（13から13.1にしました）
IndexError: arrays used as indices must be of integer (or boolean) type
が出るのですが、解決法がよく分かりませんでした。

[melian]

ごめんなさい、data[blk[1], blk[2]] のインデックス値である blk[1] と blk[2] が float 型になる場合を考慮していませんでした。修正しましたのでご確認ください。

[yyicp]

for blk in pd.read_csv(f, header=None, chunksize=4, dtype=float):
blk = blk.to_numpy()
data[int(blk[1]), int(blk[2])] = blk[3]
とすることで、DeprecationWarningがたくさん出てやや心配ではありますが、解決しました。

[yyicp]

丁度行き違いになってしまいました。

修正していただいたコードで正しく動くことを確認しました。
どうもありがとうございました。

[yyicp]

コードの修正、ありがとうございます。
両方とも正しく回るのですが、今回のコードの方が良いと考えられた理由がありましたら教えてください。

＜以前のコード＞
for blk in pd.read_csv(f, header=None, chunksize=4):
blk = blk.to_numpy()
data[blk[1].astype(int), blk[2].astype(int)] = blk[3]

＜今回のコード＞
for blk in np.loadtxt(f).reshape((-1, 4)):
data[*blk[1:3].astype(int)] = blk[3]

[melian]

後になってから気がついたのですが、numpy.loadtxt() も空行を読み飛ばす仕様になっていて、reshape((-1,4)) とすることで pd.read_csv(f, header=None, chunksize=4) と同じ結果内容が得られます。(pd.read_csv(..., chunksize=4)はイテレータを返しますが) read_csv() では to_numpy() で numpy 配列に変換していますが、loadtxt() ではその必要がありません。要は Numpy だけで処理が可能であることが判ったので今回のコードへ変更しました。(あまり積極的な理由ではありませんが…)
また、既にご存知だとは思いますが、

data[*blk[1:3].astype(int)] = blk[3]

の * (アンパック演算子) はシーケンスを展開しますので、元のコードと同義になります。

data[blk[1].astype(int), blk[2].astype(int)] = blk[3]

[yyicp]

ご回答ありがとうございました。