Python テキストファイルを1行ずつ読み込み、処理を行う

Question

前提・実現したいこと

プログラムの作成途中で、テキストファイルから1行ずつ値を取り出し、処理をするプログラムを作成したいです。
用いるテキストファイルは25159行1列で数値が入っています。

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
IndexError                                Traceback (most recent call last)
<ipython-input-60-85bf1503ffac> in <module>
      2 f= open('fiw/maisuu.txt','r')
      3 while a<=25158:
----> 4     data = f.readlines()[a]
      5     print(data)
      6     a=a+1

IndexError: list index out of range

while文では上記のようなエラーが生じ、for文では0行目の実行結果のみしか表示されませんでした。

該当のソースコード

a=0
f= open('fiw/maisuu.txt','r')

while a<=25158:
    data = f.readlines()[a]
    print(data)
    #data（数値）を用いて他の処理を行う
    a=a+1

lines =[0,25159]
data = []
i = 0

f=open("fiw/maisuu.txt", "r")
for line in f:
    if i in lines:
        data.append(line.strip())
    print(data)
    #data（数値）を用いて他の処理を行う   
    i = i + 1

試したこと

for文、while文を試して見ましたがうまく行きません。
ご意見をいただけますと幸いでございます。

補足情報（FW/ツールのバージョンなど）

file_list_path=0

# データセットの読み込み関数
def load_fiw_data(input_dir, img_size):
    # 画像ファイル名が記載されたファイル
    file_list_path = os.path.join(input_dir,'filename.txt')
    with open('fiw/maisuu.txt') as f:
        
        for data in f:
                data=f.readlines()[a]
                print(data)
                # 各ラベルの画像数
　　　　　　　　　　datasize_per_label=data
            
                
                
                x = []
                y = []
                label_idx = 0

                with open(datasize_per_label, 'r', encoding='utf-8') as f:
                        # 各画像ファイルを読み込む
                    for i, line in enumerate(f):
                        if i > 0 and (i % datasize_per_label) == 0:
                            label_idx = label_idx + 1

                        filename = os.path.join(input_dir, 'jpg', line.strip())
                        #print("Loading image No: {} Label: {}: path: [{}] ...".format(i, label_idx, filename))
                        try:
                            img = load_img(filename, target_size = (image_size, image_size))                
                            data = img_to_array(img)
                            x.append(data)
                            y.append(label_idx)
                            
                
                a=a+1
                        except:
                            pass

    return x,y

ソースを追記させていただきました。dataは画像数のことで、テキストデータの各行によって数値が異るため、毎度その数値を読み込み画像数として処理を行いたいです。

###試したソースコード

with open('fiw/maisuu.txt') as f:
    for data in f:
        print(data)

実行結果

15

15

30

30

15

15

18

18

9

9

18

18

72

72

90

90

数値が2つ同じなのは元々です。

Answer 1

とりあえず、こちらを試してみてください。

with open('fiw/maisuu.txt') as f:
    for data in f:
        print(data)
        #data（数値）を用いて他の処理を行う

Comments

[hanaaaa]

ご返答ありがとうございます。
上記のプログラム、試させていただきました。
自分でもこのようにファイルを読み込むことはできたのですが、1行ずつ選択し、繰り返し処理を行えるようにしようとした際に質問に書かせていただいたエラーが発生しました。

[jeanbiego]

while文の方は、質問欄では省略されてしまっていますが恐らく、breakの条件出しにlen(f)みたいなことをしたんだろうと思います。len(list(f))なら上手く回るんじゃないでしょうか。
for文の方はデータの中身みないとよくわかりません。テキストを最初の数行だけ出してもらえませんか？

[jeanbiego]

あと、省略されてしまっている繰り返し処理の部分も、ですね。

[hanaaaa]

追記させていただきました。
別途ご不明点がございましたら、教えていただきたいです。

[hanaaaa]

while文の表記に関してエラー内容の訂正がございます。
ご確認よろしくお願いいたします。

[jeanbiego]

指定のテキストで、内容を1行ずつ読み込めることは確認しました。
つまり、その後の処理に問題があるようです。

とりあえず、
with open(datasize_per_label, 'r', encoding='utf-8') as f:
ここのdatasize_per_labelには画素数（整数の文字列）が入っていると思うのですが、ファイルパスではないためopenに入れてもエラーが出るだけではないですか？

[jeanbiego]

あと、if i > 0 and (i % datasize_per_label) == 0:
ここのように数値として使うならばどこかで、intに型を変える必要があります
datasize_per_label=data
↓
datasize_per_label=int(data)

[jeanbiego]

もう1個、空白行が多いので下記のようにif文で空白行を除かないと、エラーのもとになります
for data in f:
if not data.strip():
continue

[hanaaaa]

datasize_per_labelではなく、他のファイルとの間違いでした。
ご指摘ありがとうございます。

[hanaaaa]

int型に関しても修正させていただきました。
質問のみならず他のエラーに関してもありがとうございます。
授業の兼ね合いで今日はこれ以上作業をすすめることができないため、ご回答を参考に頑張ってみます。
また改めて質問させて頂いた際はよろしくお願いいたします。

Answer 2

ファイルに行数を指定して読み込みたいという要望ですかね？
それならばlinecacheというモジュールがあります。

このサンプルではループさせていますが、
linecache.getlineの二番目の引数に行数を指定すれば取得してくれます。

注意事項としてはキャッシュを使っているので使い終わったら
linecache.clearcache()でキャッシュをクリアしてください。

import linecache

# ファイル行数取得
f_rows = sum([1 for _ in open('fiw/maisuu.txt')])

# 1からファイル最終行までループ
for i in range(1, f_rows + 1):
    # 指定行をファイルから改行コードを削除して取得
    target_line = linecache.getline('fiw/maisuu.txt', i).rstrip('\n')
    print(target_line)
    # linecacheのキャッシュクリア
    linecache.clearcache() 

Comments

[hanaaaa]

ご回答ありがとうございます。
この方法で試し、読み込みの部分はうまく行きました。
未だ全体のプログラムに関しては、他のエラーでうまく行っていないですが、また質問させていただいた際はよろしくお願いいたします。