Python3 マルチスレッドでのファイル操作

Question

Pythonで複数のスレッドを動かす際、複数のスレッドから同じCSVファイルを編集するのは正しくデータを反映しない可能性はありますか？

open()で特定の行の追加・削除をした場合は競合すると思いますが、競合しない関数などがあれば教えてほしいです。
例えば、調べてみたところpandasというライブラリがあるそうですが、それはスレッドセーフなのでしょうか。

Answer 1

• 正しくデータを反映しない可能性はありますか？

はい、あります。かなり確実に壊れます。

• 競合しない関数などがあれば教えてほしいです。

何を使っても危険です。

• pandasというライブラリがあるそうですが、それはスレッドセーフなのでしょうか。

いいえ、違います。

どうすれば良いかですが、ファイルを編集するスレッドは一つだけにすることをお勧めします。
他のスレッドは、キュー等を使って、どういう変更をしたいかをファイル編集スレッドに伝えるだけにして、ファイル編集スレッドがそれを書き込むようにするのが安全です。

Comments

[person]

回答ありがとうございます。
やはりキューをつかった受け渡しが一般的なんですね。
ありがとうございます。

Answer 2

ご自身で排他制御を行う必要があるかと思います。

Comments

[person]

回答ありがとうございます。
やはり競合は避けられないんですね。
同一スレッドでの使用が一般的のようなので、キューでの受け渡しにて同じスレッドでの操作をすることにします。