Python mode='r+'でopen時のwriteの書込位置の変化

Question

前提・実現したいこと

　Pythonの勉強中です。mode='r+'でopenした場合の、read/write位置について疑問に思い、試していたところ、おかしな現象に遭遇しました。
mode='r+'でopen直後にwriteした後、何もしないかreadするとデータが先頭から上書きされるのに、readlineすると末尾に追加で書き込まます。後の命令により書込位置が変わるのは、Pythonのような言語では良くない現象と思います。
これは、Pythonの言語仕様なのでしょうか？　それともバグ？

発生している問題・エラーメッセージ

以下に実行結果を示します。

original ***********************************
'0123456789\nabcdefghij\n'
write ： '987654321'

write ***********************************
'9876543219\nabcdefghij\n'

write,read ***********************************
read： '9\nabcdefghij\n'
'9876543219\nabcdefghij\n'

write,readline ***********************************
readline： '0123456789\n'
'0123456789\nabcdefghij\n987654321'

該当のソースコード

s_org = '0123456789\nabcdefghij\n'
s_write = '987654321'

print('original ***********************************')
with open('test.txt', mode = 'w') as f:
	f.write(s_org)
with open('test.txt') as f:
	s_read = f.read()
print(repr(s_read))
print('write ：',repr(s_write))

print('\nwrite ***********************************')
with open('test.txt', mode = 'r+') as f:
	f.write(s_write)
with open('test.txt') as f:
	s_read = f.read()
	print(repr(s_read))

print('\nwrite,read ***********************************')
with open('test.txt', mode = 'w') as f:
	f.write(s_org)
with open('test.txt', mode = 'r+') as f:
	f.write(s_write)
	s_read1 = f.read()
print('read：', repr(s_read1))
with open('test.txt') as f:
	s_read = f.read()
	print(repr(s_read))

print('\nwrite,readline ***********************************')
with open('test.txt', mode = 'w') as f:
	f.write(s_org)
with open('test.txt', mode = 'r+') as f:
	f.write(s_write)
	s_line1 = f.readline()
print('readline：', repr(s_line1))
with open('test.txt') as f:
	s_read = f.read()
	print(repr(s_read))

試したこと

ネットで検索してみましたが、同様な事象に関する情報は見つけられませんでした。

補足情報（FW/ツールのバージョンなど）

試した環境は、以下の通り。
Windows10 Home x64 21H1 ビルド 19043.1165 Python 3.9.5 x64
Windows 11 Pro ビルド 22000.168 Python 3.9.6 x64。

Answer 1

テキストモードでなく、バイナリーモードだと期待通りの動作ですね。

書き込み処理を遅延すること自体は良いのですが、テキストモードの場合は、書き込み専用に独立したバッファに書き込んでいると思われ、読み込みと同期が取れていません。
これはバグじゃないのかなぁ。
write()の後、flush()だけでなく、tell()やseek(0,0)というファイルに何も影響を与えないはずのメソッドを行っても書き込みバッファと読み込みバッファの同期が取れるようです。readとwriteが混在する場合は切り替わるタイミングで処理系内部で同期を取るべきでしょうね。

なお、遅延された書き込みが1行目の次でなくファイル末尾に書かれていますが、テキストモードの場合は、ストリーム位置が先頭でない場合には末尾に書き込まれるようです。

Comments

[Ruda0316]

回答ありがとうございます。
やはり、バグだと思いますよね。
ただ、この様な利用方法はあまりされないと思うし、flush()という明確な回避策もある現状、諦めてそういう仕様と思って使うようにしようと思います。自分の感覚的には、まぁ、実際には使う事はほとんど無いと思いますが。

[otn]

readとwriteを交互に繰り返すようなケースでは、毎回flush()するとディスク書き込みが頻繁に発生するので、そういうケースではtell()が良いかと思います。

[otn]

とりあえずバグレポート出してみました。

[Ruda0316]

今のバージョンのPythonであれば、tell()の方が良さそうなのは確かですね。でも、次以降のバージョンでは、同期出来る保証は無いと思います。元々、Pythonは実効速度を求める言語では無いですし、OSとかのキャッシュ機能に期待する手もあるかと。ですので、言語仕様に素直に従い、flush()で行こうと思います。

[otn]

flushも意味はディスクに書き込むという意味なので、この現象がバグであることを前提にすると、読み書きを繰り返す際に、読み取りバッファと書き込みバッファの整合性を取るのに常に有効かというのは、やってみないと分からないです。

Python2.6だとこの現象は出ないですね。

Answer 2

書き込みバッファが実際のファイルIOに遅延して反映されているようです。ややこしいですね。
実際、このように変更すると同期的に書き込みと読み込みが行われます。

with open('test.txt', mode = 'r+') as f:
    f.write(s_write)
    f.flush()
    s_line1 = f.readline()

Comments

[Ruda0316]

回答ありがとうございます。
flush()があるということは、Pythonにおいては、非同期入出力のタイミング制御は、ユーザーの責任と言うことでしょうか？
その場合、入力データが出力バッファの反映が間に合わず、タイミングにより変化することはしかたがないと思います。しかし、すでに出力バッファいにあるデータの書き込み位置が、後の処理により変化するのは問題だと思うのですが、いかがでしょうか？

[mather]

バッファ処理のタイミングについては特に指示がなければシステムに依存すると思いますが、正しい動作を確約させたい場合はユーザーの責任において処理を記述する必要があります。

> すでに出力バッファいにあるデータの書き込み位置が、後の処理により変化するのは問題だと思うのですが、いかがでしょうか？
私個人の意見では、ややわかりにくいとはいえ、上記のようにコントロールする方法があるのですから問題には感じません。
理解が難しいと感じるのであれば、 "r+"のモードを使わないようにすれば良いでしょう。

[Ruda0316]

'r+'だけでなく、'+'付きのテキストモード共通の問題のように思えます。ただ、まぁ、普通に使うかと言われると、自分の感覚的には、あまり使いそうも無いです。どうしても使う場合は、flush()を利用するようにします。
それでも、write()は、書込位置を特定せず出力バッファにデータを格納するだけで、実際の出力位置は出力されるときに決定されるなどという仕様は、Pythonのような高級言語にふさわしくないと思います。

Answer 3

ファイルポインタ、でぐぐって出てくる解説を読んでみよう

Comments

[Ruda0316]

回答ありがとうございます。
tellを使って、入出力の前後のポインタを確認しようとしたのですが、うまくいきませんでした。タイミングが変わってしまっためか、readlineした場合のwrite動作が、他の場合と同じに変わってしまいました。