python2.7で正確に「ファイルの排他ロックをする方法」が知りたい

Question

python2.7で「ファイルの排他ロックをする方法」について知識のある方、
教えていただければ助かります。よろしくおねがいします。

前提・実現したいこと

pythonでファイル削除処理(os.remove)に対して排他ロックをかける方法を知りたい。

2つのpythonスクリプトを使用して、
1つのテキストファイル(locktest.txt)に対して排他ロックをかけ、
書き込み→ファイル削除を行いたいです。

発生している問題・エラーメッセージ

os.remove("/filepath")に排他ロックをかける方法がわからない。

使用するスクリプトは下記の3つです。
①writeするためのpythonスクリプト(書き込み中は排他ロックを20秒ほどかける設定、正常動作している)
②Deleteするためのpythonスクリプト（ここがわからないポイント）
③write,deleteされる対象のテキストファイル(locktest.txt)

③に対し、①でwriteする際に排他ロックをかけているのですが、
①を実行している最中に②のファイル削除を実行すると、排他が効かず③が削除されてしまいます。
そのため、①のアンロック時に③がみつからず、
下記のようなエラーが発生します。

$ python aaa_write_first.py 
ロックを獲得できるまで待ちます
ロックを獲得できました
------------------
ロックを獲得できた時の処理をここに書きます
例えば、ここでは 20秒間スリープします
Traceback (most recent call last):
  File "aaa_write_first.py", line 24, in <module>
    main()
  File "aaa_write_first.py", line 20, in main
    fcntl.flock(f.fileno(), fcntl.LOCK_UN)
ValueError: I/O operation on closed file

該当のソースコード

↓①write用ファイル(書き込み後、20秒排他ロック)

# -*- coding: utf-8 -*-

import fcntl

def main():
    fname = '/home/foo/bar/locktest.txt'

    try:
        with open(fname, "w") as f:
            print('ロックを獲得できるまで待ちます')
            fcntl.flock(f.fileno(), fcntl.LOCK_EX)
            print('ロックを獲得できました')
            f.write('first' * 500)
            print('------------------')
            print('ロックを獲得できた時の処理をここに書きます')
            print('例えば、ここでは 20秒間スリープします')
            import time
            time.sleep(20)
    finally:
        fcntl.flock(f.fileno(), fcntl.LOCK_UN)

↓①delete用ファイル(①のwriteファイル実行中に実行するためもの)
こちらのos.removeプロセスに排他ロックをかける方法がわからず、知識のある方に教えていただきたいです。

# -*- coding: utf-8 -*-

import fcntl

def main():
    fname = '/home/foo/bar/locktest.txt'

    try:
        print('ファイル削除を開始します')
        import os
        os.remove(fname)
        # writeと同じように排他ロックをかけようとするとエラーになる
        # fcntl.flock(os.remove(fname.fileno()), fcntl.LOCK_EX)
        print('ファイル削除を完了しました')
    except Exception as e:
        print(e)
    finally:
        pass

試したこと

ファイル削除処理に排他ロックをかけるために、fcntlライブラリのflockメソッドを使用したがエラーになった。

fcntl.flock(os.remove(fname.fileno()), fcntl.LOCK_EX)

>>出力結果
'str' object has no attribute 'fileno'

補足情報

python2.7

知識のある方、教えていただければ助かります。よろしくおねがいします。

Answer 1

'str' object has no attribute 'fileno'

エラーメッセージをよく読んでください。 str 型の値には fileno という属性が無いですよ、と書いてあります。
fname.fileno() でミスってませんか？

---

追記(2019-06-26)

Traceback (most recent call last):
  File "aaa_write_first.py", line 24, in <module>
    main()
  File "aaa_write_first.py", line 20, in main
    fcntl.flock(f.fileno(), fcntl.LOCK_UN)
ValueError: I/O operation on closed file

こちらのエラーについては with でファイルを開いており、そのスコープ外で f.fileno() を参照しようとしているのでファイルが閉じられている、というのが原因かと思います。
以下のような方法だと別プロセスからファイルが削除されていたとしてもアンロックでエラーは発生しませんでした。（それはそれでどうなの、というのもありますが）

import fcntl
import time

try:
    f = open("sample.txt", "w")
    print("sample.txt opened.")
    fcntl.flock(f.fileno(), fcntl.LOCK_EX)
    print("sample.txt locked.")
    time.sleep(60)

finally:
    fcntl.flock(f.fileno(), fcntl.LOCK_UN)
    print("sample.txt unlocked.")
    f.close()
    print("sample.txt closed.")

ファイル削除の方も一旦開いて、削除してからクローズ、という形で問題ありません。

import fcntl
import os

try:
    f = open("sample.txt", "r")
    print("sample.txt opened.")
    fcntl.flock(f.fileno(), fcntl.LOCK_EX)
    print("sample.txt locked.")
    os.remove("sample.txt")
    print("sample.txt removed.")
finally:
    fcntl.flock(f.fileno(), fcntl.LOCK_UN)
    print("sample.txt unlocked.")
    f.close()
    print("sample.txt closed.")

Comments

[umino]

回答ありがとうございます。
エラー文の内容は把握しているのですが、解消方法がわかりません。
①のopen-writeの実装では、同じ書き方でエラーがでませんでした。
同じ実装でエラーが排出されるということは、
「①open,"w"したファイルに対しては排他ロックをかけられるが、
②os.removeしたいファイルに対しては排他ロックがかけられない」のかと考えています。
私の理解が誤っている可能性が高いので、そこも含めて、エラー解消方法を知りたい状態です。

[mather]

いや、ご自身で f.fileno() としたときのコードをみると fname を open してからFileオブジェクトに対して fileno を取得してますよね。
一方でエラーが発生した方は fname に対して直接 fileno を取得しようとしています。
同じ fileno を取得するコードを比較してみればわかることですよ。

[umino]

なるほど、比較してみました。
削除メソッドに排他ロックをかけるためには、
write側でいうopenのような動作をかませてからfileオブジェクトに対してfilenoを取得すればよいのでしょうか。removeにopenをかませてみたのですが(当たり前かもしれませんが)エラーになり、考え方も含め、具体的にどのように実装すれば解決できるのかが詰まってしまっている状態です。

[mather]

エラーの解消の話ではないんですか？
どうやって書けばいいですか、というのは丸投げです。
考え方の話でいうと、「ファイルの削除」というのは「ファイル内容の変更」なので書き込みロックで十分です。

[mather]

いや、違いますね。
「削除されるのを防ぎたい側」にとってのロックはありますが、そもそも削除する側はロック不要ですね。

[umino]

本来の目的は「pythonでファイル削除処理(os.remove)に対して排他ロックをかける方法を知りたい」です。

投稿には書きましたが、「削除されるのを防ぎたい側(write-①)」にとってのロックは正常にかかりました。これはwrite-writeのプロセス競合で確認済みです。
しかし、write-deleteとなると、「削除する側(delete-②)」のプロセスがwriteの排他をを突破してファイルを削除してしまいます。exceptionは投稿の通りです。

たしかに、「削除する側はロック不要」の可能性もありますが、事実として「削除される側でロックをかけているにも関わらず突破して削除されて」います。上記のwrite-writeのケースから鑑みるに、削除する側でもロックをかければ想定した動きになると想像しています。

[mather]

追記しました。「試したこと」のエラーの解消だと勘違いしていました。
「発生しているエラー」の部分に関してはそもそもファイル削除をしなくても発生するかと思います。

ここでいう排他ロックに関してはアドバイザリーロックなので、「ロックを取得しに行く」という操作をしないと強制力はありません。
つまり、Pythonとは無関係に rm コマンドなどで削除されることも普通にありますし、防ぐことはできません。

[umino]

返信おそくなりすみません、きのう、頂いた回答をもとに実装してみたら無事動きました！
おっしゃる通り、withのスコープ外でunlockをしようとしていたことが原因でした。
ご丁寧にコードまでいただいて、イメージでき派生した不明点も調べやすかったです。
本当にありがとうございました。