リストの要素値がすべて0である行と列を削除したあと、それを復元したいです

Question

実現したいこと

こちらの関連質問です。
そこではリストの要素値がすべて0である行と列を削除する方法を教えていただきました。

行列Rは以下のようなファイルです。

1	2	0	4
3	0	0	0
0	0	0	0
5	0	0	0

このRに対して以下のような作業を考えます。
①　要素値がすべて0である行と列を削除する（削除した行列をR2とします）

1	2	4
3	0	0
5	0	0	

②　R2からRを復元する　

1	2	0	4
3	0	0	0
0	0	0	0
5	0	0	0

よく分からないことをやろうとしているなと思われるかもしれません。対象がもっと巨大な行列で、①の状態にしてから、とある作業をして、また復元したいと考えています。①の部分のコードの後にどのようなコードを書けば良いか分からないので、どなたか教えてください。

なお、Rはもっと巨大な行列で、ほとんどの要素値が0です。

該当のソースコード

import numpy as np
import pandas as pd

R = pd.read_csv("R.csv",header=None).values

R2 = R[np.ix_(~np.all(R == 0, axis=1), ~np.all(R == 0, axis=0))]
np.savetxt('R2.csv', R2, delimiter=",")

##########ここまでが①

試したこと

①の作業で消した行、列の番号を記憶しておいて、そこに0の行、列を追加すれば良いと思うのですが、どのようにやるか分かりませんでした。

Comments

[melian]

そうですね、、もう一度 R.csv ファイルを読み込めばよいのではないでしょうか。

[TakaiY]

(melianさんらしくないコメント！)

> とある作業をして
どんな作業ですか？ dataframeの内容を書き換えるような作業ですか？
> また復元したい
復元したときに、その「とある作業の内容」は残すのでしょうか？

プログラムの最後でRの内容を確認してみてはどうでしょうか？

[yyicp]

>melian様
コメントありがとうございます。

書き方が良くなかったです。申し訳ありません。
「とある作業」の詳細は書けませんが、（例えば）行列の各成分に対して何かしらの処理をするとお考え下さい。
なので、①の作業で消した行、列の番号を記憶しておいて、そこに0の行、列を追加すれば良いと思いました。これも結局、「とある作業」前に全要素に対して行うしかない、と理解しました。

[yyicp]

>TakaiY様
「とある作業」の中身は書けません。申し訳ありません。行列の各成分に対して何かしらの処理をするとお考え下さい。

復元したときに、その「とある作業の内容」は残さなくても良いです。

[yyicp]

結局、①の作業で消した行、列の番号を記憶する方法を知りたいということになるのだろうか・・・

[TakaiY]

> その「とある作業の内容」は残さなくても良いです。
であれば、melianさんの回答のとおり読み直すか、Rを保存しておくのが簡単ですよ。

[meg_]

> 復元したときに、その「とある作業の内容」は残さなくても良いです。
そうであれば他の人が言うように何もすることはないですね。R.csvは残っていますので。

[yyicp]

>TakaiY様
コメントありがとうございました。

>meg_様
コメントありがとうございました。

Answer 1

①の状態にしてから、とある作業をして、また復元したいと考えています。

pandas.Series.combine_first — pandas 2.3.3 documentation を利用して、データフレームR2の欠損値(全て要素が0の行と列)をデータフレームRで埋め合わせます(補完)。

import pandas as pd

R = pd.read_csv("R.csv",header=None)
print(R)

# delete rows and columns where all elements are 0
R2 = R.loc[~R.eq(0).all(axis=1), ~R.eq(0).all(axis=0)]
print(R2)

# calculate
R2 += 1

# restore rows and columns where all elements are 0
R2 = R2.combine_first(R).to_numpy()
print(R2)

#    0  1  2  3
# 0  1  2  0  4
# 1  3  0  0  0
# 2  0  0  0  0
# 3  5  0  0  0
# 
#    0  1  3
# 0  1  2  4
# 1  3  0  0
# 3  5  0  0
# 
# [[2 3 0 5]
#  [4 1 0 1]
#  [0 0 0 0]
#  [6 1 0 1]]

Comments

[yyicp]

全ての要素が 0 である行と列を除いた配列要素に1を足す方法、どうもありがとうございました。

他の方も言われている通り、元々のRにあらかじめ作業をしてから「該当のソースコード」の6行目の作業をすることにします。

「該当のソースコード」の6行目の、消した行、列の番号を記憶するのは難しいのですね。

[melian]

> 「該当のソースコード」の6行目の、消した行、列の番号を記憶するのは難しいのですね。

row_idx, col_idx = np.ix_((R==0).all(axis=1), (R==0).all(axis=0))
row_idx, col_idx = row_idx.T[0], col_idx[0]

とすればよいかと。

[melian]

pandas の combine_first() で復元する方法で書き直しました。

[yyicp]

12/5 12:24の回答を確認しました。
できました。
どうもありがとうございます。

消した行、列の番号を記憶させるコードもありがとうございます。
確認ですが、次の2行はどちらかを実行すれば良いという理解で合っているでしょうか。
>row_idx, col_idx = np.ix_((R==0).all(axis=1), (R==0).all(axis=0))
>row_idx, col_idx = row_idx.T[0], col_idx[0]
出力はどちらもrow_idx=2、col_idx=2になります。

[melian]

row_idx, col_idx = np.ix_((R==0).all(axis=1), (R==0).all(axis=0)) だけの場合、row_idx と col_idx の shape は (1, 1) ですが(2次元配列)、その後でさらに row_idx, col_idx = row_idx.T[0], col_idx[0] を実行すると shape は (1, 0) になります。(1次元配列) 扱いやすい方を使ってください。

[yyicp]

ご回答どうもありがとうございました。