Pythonのテキストデータ読み込みで、途中停止してしまう問題を回避したい

Question

前提・実現したいこと

リストにテキストデータの内容を読み込ませたいのですが、ファイルの途中までしか読み込まれません。エラーメッセージも出ず、その後に書いたプログラムの処理は続行されています。

発生している問題・エラーメッセージ

下記のコードのようにprint(len(data))で読み込んだ行数を確認すると、約22,000行のうち一部しか読み込まれておらず、止まる位置は試行ごとにランダム（2,000-20,000行のどこか）です。

該当のソースコード

with open(Filename[0]) as fileobj:
    data=fileobj.readlines()
    print(len(data))

試したこと

fileobj = open(Filename[0], 'r') #DATファイル読み込み
data=fileobj.readlines()
fileobj.close()

というwithを使わない方式、

encoding='UTF-8'

など、エンコーディングの指定も試しましたが結果は同様です。

while True:
line = fileobj.readline()
if line:
data.append(line)
row_no += 1
print(row_no)
else:
fileobj.close
break

のように一行ずつ読み込み、print(row_no)で行数を表示し続けると読み込めますが、時間がかかりすぎます。また、一行ずつ読む場合でも print(row_no) を外すとやはり途中までしか読まれません。

補足情報（FW/ツールのバージョンなど）

Python 3.9.2-64bit, Windows10 上で実行

Comments

[bsdfan]

そのファイルはどうやって作成したものでしょうか？
書き込みながら(例えばダウンロードしながら)、読み込んでいたらこういうことが起きそうな気がします。

[RKwg1028]

ファイルの作成を検知してすぐに読み込みにいくようなプログラムにしていたので、sleepを入れてファイルの作成完了まで待たせることにより解決しました。大変助かりました。ありがとうございます。

Answer 1

ちょっと原因が読めませんが…たとえば下記ではどうなりますか？
もし該当のファイル（あるいはダミーデータ）をアップロードできるのでしたら、もっと詳しい方が回答してくれるかもしれません。

with open(Filename[0]) as fileobj:
    data=fileobj.read()
    print(len(data.split("\n"))

Comments

[RKwg1028]

ご回答ありがとうございます。
教えていただいたコードを試してみましたが、やはり同様にランダムな位置で読み込みが止まります。データファイルはアップロードできないので再現できるダミーデータを作りたいのですが、今のところ問題が再現できるダミーが作れていない状態です。

[jeanbiego]

そうなんですね。
ちなみに質問欄と同じコードで23000行のテキストファイルを読んでみましたが、問題はおきませんでした。そのファイル特有の問題かもしれません。

[RKwg1028]

ファイルの作成を検知してすぐに読み込みにいくようなプログラムにしていたので、sleepを入れてファイルの作成完了まで待たせることにより解決しました。色々と試していただきありがとうございます。

[jeanbiego]

なるほど、ファイルが仕上がってなかったんですね。スッキリしました。