ファイルの読み込みがよく分かりません

Question

実現したいこと

sample1.txtは次のようなファイルです。

1
2
3

7
8
9

sample2.txtは次のようなファイルです。

4
5
6

3行の各塊は順に
i方向インデックス
j方向インデックス
k方向インデックス
を意味しています。

今、sample1.txt、sample2.txtの各塊の中で最大値を取り出したいと思い、「該当のソースコード」を書きました。39～44行目の出力がおかしいです。どなたか正しいコードに直してください。

該当のソースコード

import pandas as pd
from glob import glob

data_files = glob('*.txt')

for f in data_files:
    # 3行ごとに読み込み(空行はスキップされる)
    blks = [blk.to_numpy() for blk in pd.read_csv(f, header=None, chunksize=3)]
    
    imin = 1000
    jmin = 1000
    kmin = 1000
    imax = 0
    jmax = 0
    kmax = 0

    for l, blk in enumerate(blks):
        # 2番目以降のブロックでは空行を入れる
        if l > 0: print('')
                    
        i = blk[0]
        j = blk[1] 
        k = blk[2] 
            
        if i<imin:
            imin=i
        if j<jmin:
            jmin=j
        if k<kmin:
            kmin=k
         
        if i>imax:
            imax=i
        if j>jmax:
            jmax=j
        if k>kmax:
            kmax=k

print(imin)#4、本来は1と出力したい
print(jmin)#5、本来は2と出力したい
print(kmin)#6、本来は3と出力したい
print(imax)#4、本来は7と出力したい
print(jmax)#5、本来は8と出力したい
print(kmax)#6、本来は9と出力したい

試したこと

31行目に

print('imin='+str(imin)) 

を追加して実行すると、この部分に相当する出力は以下のようになりましたが、なぜこうなるのかがよく分かりませんでした。

imin=[1]

imin=[1]
imin=[4]

Comments

[melian]

手元の環境(Python 3.13.7/Pandas 2.3.3)で実行すると、結果は本来の値([1] [2] [3] [7] [8] [9])になります。読み込んでいるデータファイルが別のものになっていたりはしないでしょうか？

それから、blk が Pandas の dataframe なので、blk.to_numpy() は shape が (3, 1) の2次元配列になります。blk[0].to_numpy() とすれば、Pandas の series を numpy 配列に変換するので1次元配列になります。

blks = [blk.to_numpy() for blk in pd.read_csv(f, header=None, chunksize=3)]
=>
blks = [blk[0].to_numpy() for blk in pd.read_csv(f, header=None, chunksize=3)]

上記の変更を行って実行すると、結果は以下の様になります。

1
2
3
7
8
9

[yyicp]

>melian様
コメントありがとうございます。

データファイルが正しいものを読み込んでいることを確認しました。

私の環境は、Python 3.13.6、Pandas 2.3.1でした。
各々バージョンを上げてやってみます。

[TakaiY]

横からすみません。
> データファイルが正しあすかいものを読み込んでいることを確認しました。
どのように確認していますか？
また、globに指定しているファイル名をその想定しえちるファイルのあるフルパスにするとどうなりますか？

[yyicp]

>melian様
追加のコメントありがとうございます。
pandasを2.3.3に上げましたが、うまくいきませんでした。
（pythonのバージョンはまだ3.13.6です）

blks = [blk[0].to_numpy() for blk in pd.read_csv(f, header=None, chunksize=3)]
としてみましたが、うまくいきませんでした。

[yyicp]

>TakaiY様
コメントありがとうございます。
プログラムと同じフォルダにあることを確認しました。

「該当のソースコード」の24行目に
print(i)
print(j)
print(k)
を加えて実行すると、その部分の出力が、
1
2
3

7
8
9
4
5
6
になりました。

[melian]

以下のコードを実行してもらえますか？ 処理内容は同じです。手元の環境では「本来の結果」と同じ結果になります。
https://www.mycompiler.io/view/9dGcGCvTLGL

[yyicp]

>melian様
「該当のコード」で正しい結果が表示されました。
ありがとうございました。

回答欄への記入をお願いします。

ところで、私の環境ではうまくいかなかった理由はよく分からないということでしょうか。

[melian]

はい、処理内容は同じでデータファイル(*.txt)の中身も同じとなると何が原因なのか、、、

[yyicp]

>melian様
pythonを3.14.0に上げましたが、結果は変わりませんでした。

[yyicp]

>melian様
あと違うのは、OSぐらいでしょうか。
私はWindows11、melian様はUNIXでしょうか。
まあ、これ以上深追いしないことにします。

[melian]

こちらは Ubuntu Linux 25.10 ですが、最小値と最大値が 4 5 6 になっていることを考えると、sample2.txt だけが読み込まれている状況の様に見えますね。。。

[yyicp]

往生際が悪くて申し訳ありません。
プログラムがあるフォルダからsample2.txtを消すと、つまりsample1.txtだけに対してプログラムを適用するとプログラムは正しく動作しました。2個目のファイルを読み込むときに1個目のファイルの結果が保存されていないような気がします。

[yyicp]

26行目の次に
print(str(i)+'\t'+str(imin))
を足すと、その部分の出力が以下のようになります。
1 1
4 4

こちらとしては以下のようになるはずだと思っていますが・・・
1 1
4 1

[yyicp]

10～15行目を4行目の後に移動したらうまくいきました。

melian様の環境では「該当のソースコード」がうまくいく理由にはなっていませんが。

[melian]

> 10～15行目を4行目の後に移動したらうまくいきました。
分かりました。imin, jmin, kmin, imax, jmax, kmax がデータファイルを読み込む度にリセットされてしまうことが原因だったのですね。こちらの環境で上手くいっていたのは、glob("*.txt") の結果が ["sample2.txt", "sample1.txt"] になっていて、sample2.txt が先に読み込まれていたためでした。sorted(glob("*.txt")) に変更して "sample1.txt" を先に読み込むと 4 5 6 4 5 6 になります。

[yyicp]

長い間お付き合いいただいて、どうもありがとうございました。

Answer 1

データファイルから3行ごとにデータフレームとして読み込んでから pandas.concat(axis=1) で列方向に連結します。最小値と最大値はそれぞれ pandas.DataFrame.min() と pandas.DataFrame.max() で求めることができます。

import pandas as pd
from glob import glob

data_files = glob('*.txt')
# print(data_files)
df = pd.concat([blk.reset_index(drop=True) for f in data_files
                for blk in pd.read_csv(f, header=None, chunksize=3)],
               axis=1)
# print(df)

imin, jmin, kmin = df.min(axis=1)
imax, jmax, kmax = df.max(axis=1)
print(imin)
print(jmin)
print(kmin)
print(imax)
print(jmax)
print(kmax)

Comments

[yyicp]

できました。
どうもありがとうございました。