[python] ファイル書き込み処理のwindowsとlinux環境の動作の違いについて

Question

いつもお世話になっております。
pythonの処理にて、Linux(ubuntu)環境での動作と、windows環境での動作に違いがあり、
原因を調べてみたのですが、原因が良く分からない為ご質問させて下さい。

<バージョン>
python2.7.15

<ソースコード一部抜粋>
import codecs

with codecs.open(file_path, 'w', 'utf-8') as f:
f.write(msg)

<動作環境での違い>
Amazon Linux ・・・ msgに記述した内容が全てファイルに書きこまれる
Ubuntu・・・ msgに記述した内容が全てファイルに書きこまれる
Windows8.1・・・ msgに記述した内容が途中で切れている。(毎回50行目の途中で切れる)

<やってみたこと>
色々調べてみましたが、なぜwindowsだと途中で切れるのか原因は分かりませんでしたが、
ためしに、以下のように修正したところ、ファイルへの書き込みが途中で切れなくなりました。

<修正後のソースコード>
import codecs

with codecs.open(file_path, 'w', 'utf-8') as f:
f.write(msg)
f.close()

<ご質問事項>
皆さまご存じの通り、with構文でファイルをopenしていますので、ファイルのclose処理は不要な認識でした。
しかし、実際に私の環境で試した限りだと、f.close()をしないとwindows環境では、書き込みメッセージが
途中で切れるという現象が発生していました。
この件につきまして、どなたか原因にお心あたりがございましたらご教授頂けないでしょうか？

以上です。どうぞ宜しくお願い致します。

Comments

[otn]

現象が再現できるコードを出せませんか？

[choitarou]

ご連絡ありがとうございます。本件ですが、無事に解決することができました。

Answer 1

皆さま、ご教授ありがとうございました。
本件ですが、原因は以下のHPに記載されている内容と同じでした。
http://seizo-igawa.hatenablog.jp/entry/2015/05/09/113405

windows PCは私のノートPCだったのですが、pythonを実行時の処理が重たくなっており、
ファイルの書き込み時に遅延が発生していたようです。その為、上記のHPにかかれております、
flush()をwrite()の後に書く事によって、途中で文章が切れるという現象が発生しなくなりました。
本件は、恐らくですがファイルへ書き込む文章の長さや、PCのスペックに左右されて発生したり
しなかったりするのだと思います。

書き込み頂きました皆様、本当にありがとうございました。

Comments

[otn]

そもそも、書かれないという認識が間違っていて、単に書き込みが遅れていただけと言う事で合ってますか？

[choitarou]

その通りです。ファイルをwrite関数うにて書き込んだ直後に、
AWSのS3にファイルをアップロードしていたのですが、
S3に格納したファイルは毎回途中で文章が切れているといった現象が発生していました。
お手数をおけし申し訳ありませんでした。

[otn]

ローカルの出力したファイルの中身すら確認していなかったと言う事？

Answer 2

バッファリング関係じゃないかな
7.2. codecs - codecs.open - Python ドキュメント

Comments

[choitarou]

ご回答頂きましてありがとうございました。原因について特定することができました。

Answer 3

どこかのバッファの動きの差異で結果が異なっている気がします。

1. os.fsync()をf.write(msg)のあとに呼んでみる
2. codecs.openにbuffering=0を渡してみる
3. wrote = f.write(msg)としてwroteとlen(msg)を比べてみる

Comments

[choitarou]

ご回答ありがとうございました。無事に解決することができました。