ファイルのREADロックとWRITEロックのやり方

Question

###前提・実現したいこと
RaspberryPi3(Raspbian Jessie)でpython3.4.2でプログラムを書いています。
実現したいことは、
・あるプロセスが設定ファイルを読み込んでいるときは、他プロセスは設定ファイルに書き込みできないようにしたい
・あるプロセスが設定ファイルに書き込んでいるときは他プロセスは設定ファイルを読み書きできないようにしたい
の2点です。
（いわゆるREADロックとWRITEロックを実現したい）

###試したこと
hoge.txtに"hoge"という文字を一行書き込むwrite.py
hoge.txtを読み込むread.py
をとりあえず作成しました。コードは次のとおりです。

• write.py

#/usr/bin/python3
# -*- coding:utf-8 -*-
import fcntl
import time

while 1:
	f = open("/var/tmp/hoge.txt", "w") #ここから
	try:
		fcntl.flock(f, fcntl.LOCK_EX) #ここまでの間で読み込みが行われると、空白を読み込む
		f.write("hoge\r\n")
		fcntl.flock(f, fcntl.LOCK_UN)
	except IOError:
		pass		
	finally:
		f.close()

• read.py

#/usr/bin/python3
# -*- coding:utf-8 -*-
import fcntl

while 1:
	f = open("/var/tmp/hoge.txt", "r")
	try:
		fcntl.flock(f, fcntl.LOCK_SH)
		str = f.read().replace("\r","").replace("\n","")
		f1 = open("/var/tmp/read.history", "a")
		f1.write("{}\r\n".format(str))
		f1.close()
		fcntl.flock(f, fcntl.LOCK_UN)	
	except IOError:
		pass	
	finally:
		f.close()		

このwrite.pyとread.pyを同時に走らせました。

$ python3 write.py &
$ python3 read.py &

###発生している問題
read.historyというファイルにread.pyがhoge.txtを読み込んだ履歴を出力しているのですが、ファイルを見てみると次のようになりました。

• read.history

hoge

(略。空白行が続く)

hoge
hoge

(略。空白行が続く)

何回か空白を読み込んでしまっているようです。
どうやら、write.pyがファイルを開いてから、ロックをかけるまでのわずかな時間の間に読み込みが発生すると、空白を読み込んでしまうようです。

「write.pyが書き込んでいる間はread.pyは読み込まない」という風にするには、どうすればよいでしょうか？
また、「ファイルを開くと同時にロックする」という方法は可能ですか？

Answer 1

排他ロックは正しくできていると思います。今回の問題は、ロックを取る前に、write.py の f = open("/var/tmp/hoge.txt", "w") によってファイルの**中身を切り詰めて(全削除されて)**オープンしてしまい、さらにその直後にロックを取った read.py により空のファイルを読まれてしまうことによって発生していると思われます。

書き込み (ファイルがすでに存在すれば切り詰められます)

Python 標準ライブラリ»組み込み関数

場当たり的な対処として、write.py でファイルを読み書きモード(r+)でオープンすることにより中身を切り詰める前処理をやめさせる回避策が考えられます。

"""write.py"""
import fcntl

for i in range(1000):
    f = open("hoge.txt", "r+") # ★読み書きモードに変更
    try:
        fcntl.flock(f.fileno(), fcntl.LOCK_EX)
        f.write("hoge\r\n")
        f.truncate() # ★truncate()でこれ以降のデータを捨てる
        fcntl.flock(f.fileno(), fcntl.LOCK_UN)
    except IOError:
        print('WRITE: IOError!!')
    finally:
        f.close()

ただしファイルのロックには限界があります。トラブルなく頻繁な読み書きを行いたいのであれば、例えばデータベース(MySQL, SQLite等)のトランザクションを使うといった方法も検討してみてください。

Comments

[takey]

まさに、今は"r+"で代用して運用しています。
データベースを使うほど多くの値を保持するわけではなかったのでファイル操作でやっていましたが、他プロセスとの連携が苦しくなりそうでしたらデータベースを使うことを考えてみます（嫌だなあ）。
回答ありがとうございました。

[episteme]

後学のため伺いたいんですけど、
提示されたコードでは ファイルをopenしたあとで lock してます。
どうがんばったってそれじゃスキマができますよね?

pythonではファイルの排他的なopen(他の誰かがopenしてたらopen失敗)が
"できない"ってことなんでしょうか?

[miyahan]

私もまずそれをやりたくて調べたのですが、排他的ロックを伴って open させる方法は見つけられませんでした。Ruby でも同じなので、実装上(flock(2) システムコール？)の仕様なのかなと思います。

似た処理として、open('hoge.txt', 'x') で排他ロックのかかった**新規**ファイルを作ることは可能なので、これでロックファイルを作るのが一般的なようです。

[episteme]

あー、lock目的のfileを新規openし、それが成功すればマジもんfileをopen/読み書き/closeののちlock-fileを削除、みたいな。ﾏﾝﾄﾞｸｾｰ