0でない要素だけについて、行方向位置、列方向位置、値をファイルに書き込みたい

Question

実現したいこと

こちらの関連質問です。

sample.csvの中身は以下の通りです。（これは具体例として挙げただけで、実際の行列はもっと巨大です）

1 0
2 3

今、各行の0でない要素だけの行方向位置、列方向位置、値をファイルに書き込みたいです。

「該当のソースコード」を実行すると、以下の画面になります。

「試したこと」まではできましたが、どのように直したら良いか分かりません。どなたか教えてください。

該当のソースコード

import numpy as np
import pandas as pd
import csv

lst = pd.read_csv("sample.csv",header=None).values.tolist()
print(lst)#[[1, 0], [2, 3]]

nz = [i.tolist() for i in np.nonzero(lst)]
for j, i in zip(*nz):
    print(f'{j=}') 
    print(f'{i=}') 
    print(lst[j][i], end='\n\n')

試したこと

下記のコードでは
ans0.txtが
0
0
1

ans1.txtが
1
1
3

になってしまいました

ans1.txtに
1
0
2
が書き込む方法を教えてください。

for j, i in zip(*nz):
    filename = "ans%d.txt" % j
    file = open(filename, 'w')
    file.write(str(j)+'\n')
    file.write(str(i)+'\n')      
    file.write(str(lst[j][i])+'\n')
    file.write('\n')

Answer 1

今のコードで、open()のときのモードを追記(append)にしてやればできると思います。
(closeしないといけないので with ブロックにしています)

for j, i in zip(*nz):
    filename = "ans%d.txt" % j
    with open(filename, 'a') as file:
        file.write(str(j)+'\n')
        file.write(str(i)+'\n')      
        file.write(str(lst[j][i])+'\n')
        file.write('\n')

毎回 open/close するのが効率的に悪いと思うなら、j の値を記憶しておいて変化したときだけ開きなおすとか、

cur_j = ns[0][0]
file = open('ans%d.txt' % cur_j, 'w')

for j, i in zip(*nz):
    if j != cur_j:
        file.close()
        cur_j = j
        file = open('ans%d.txt' % cur_j, 'w')
    file.write(str(j)+'\n')
    file.write(str(i)+'\n')      
    file.write(str(lst[j][i])+'\n')
    file.write('\n')
file.close()

もしくはdict や groupby を使って j の塊ごとに処理できる形にデータを変形するのがいいと思います。

Comments

[yyicp]

できました。
どうもありがとうございました。

Answer 2

以下のコードでは pandas.DataFrame.iterrows() を利用して、行ごとにファイル(ans{i}.txt)への保存を行います。

import pandas as pd

df = pd.read_csv("sample.csv", header=None)
for j, row in df[df.any(axis=1)].iterrows():
    with open(f'ans{j}.txt', 'w') as ans:
        for i, value in row[row.ne(0)].items():
            ans.write(f'{j=}\n{i=}\n{value}\n\n')

追記

numpy.argwhere() と itertools.groupby() を利用する場合です。

import numpy as np
import pandas as pd
from itertools import groupby

arr = pd.read_csv("sample.csv",header=None).to_numpy()
for j, c_idx in groupby(np.argwhere(arr), key=lambda x: x[0]):
    with open(f'ans{j}.txt', 'w') as ans:
        for _, i in c_idx:
            ans.write(f'j={j}\ni={i}\n{arr[j,i]}\n\n')

Comments

[yyicp]

できました。
どうもありがとうございました。

結構大変なことになってしまっているという印象を受けました。
iとjを簡単に参照できるわけではないのですね。

[melian]

結果を出力するファイルが単一であれば、もう少し簡略に書けるかもしれません。

[yyicp]

例えば、
10 print(f'{j=}')
で表示される値を格納する変数を定義できれば良い話なのですが、それはできないのでしょうか。
直感的には、
A = 「10 print(f'{j=}') 」で表示する値
print(A)
みたいな感じです。

きれいなコードではないかもしれませんが、以下のようにしても実現できることが分かりました。

for j in range(0,2,1):
filename = "ans%d.txt" % j
file = open(filename, 'w')
for i in range(0,2,1):
if lst[j][i]!=0:
file.write(str(j)+'\n')
file.write(str(i)+'\n')
file.write(str(lst[j][i])+'\n')
file.write('\n')
file.close()

[melian]

> 表示される値を格納する変数を定義できれば良い話なのですが、それはできないのでしょうか。

編集した回答のコードでいいますと、row[row.ne(0)].index がそれに当たります。

> 以下のようにしても実現できることが分かりました。

回答のコードも apply と for j in c_idx: の二重ループ(行単位の処理と列単位での処理)になっていますので、構成は同じということになります。(書き方が異なるだけかと思います)

[yyicp]

解説、ありがとうございました。