Pytorchで計算結果がマシンごとに変わってしまいます

Question

前提・実現したいこと

PytorchのLSTMを使った機械学習をしています。

いくつかのmacがあり、ハードウェアも異なればosバージョン等も若干異なってますが
状況からそれとは違う何かが起きている気がしています。
学習量が少ない場合は、どのマシンで計算しても
小数点以下全てで結果が完全一致しています。

しかし、学習量を増やすと計算途中で結果が変わってきてしまいます。

発生している問題・エラーメッセージ

計算途中でのエラーは発生していません。
学習量を増やしたとき、最初の数エポックでは
LSTMの予測結果は小数点以下含めて完全一致しているのですが
そのまま計算を続けると、ある同じエポックのタイミングで、
全てのマシンで同時に結果がズレはじめます。

該当のソースコード

すみません、どの部分になんの問題があるのか現在は不明です。。

試したこと

少量の学習量でPytorchのLSTM。全てのmacで結果が完全一致で問題は起きません。
学習量を２倍に増やして同じ計算。最初の数エポックまでは結果が完全一致で、
あるタイミングのエポックで、同時に全mac で結果がズレてきます。

なんらかのオーバフローが起きているとか、もしくはpytorchでこのような現象が起きたときに
何か対策することはあるのでしょうか？

補足情報（FW/ツールのバージョンなど）

１台だけpytorch 1.5.1で残りは1.6.0です。
同じ 1.6.0でもここに書いた状況が発生します。
ハードウェアやosバージョン,python環境は細かくなるので記載しませんが
もしそれが必要でしたら記載します。

Comments

[aokikenichi]

「すみません、どの部分になんの問題があるのか現在は不明です。。」
それだからこそ質問なさっているのではないでしょうか。
コードも環境も示さないで「なんの問題があるのか現在は不明です。。」と言われても

がんばって解明してくださいとしか、、、

一般論としては、「そういうもの」じゃないかと思うのですが
完全一致させることが必須なのでしょうか？

乱数、桁落ち、ライブラリによっては計算ロジックを一部変えている場合も
みたいなところかなと思います

[tiitoi]

CPU 実行でしょうか？
GPU 実行であれば、演算結果が多少ずれるのは、GPU の特性上そういうものという認識です。

[santaro3]

ご回答ありがとうございます。

titoiさま。すべてCPUで実行しております。
いろいろコードをみてますが、なんせ膨大な量があって、ですので
こういう現象というのはありえることなのか、それとももしこの現象があったとしたら結果は信用できないのか、というところが気になっています。 aokikenichiさんに、ありえるということなので少し安心してきてはいます。

[santaro3]

漠然とした質問にお答えいただきまして、ありがとうございました。
（randomについては初期ははしていまして、同じマシンで実行すれば毎回同じ結果は得られています。）
全くあり得ないことでは無い、ということを伺えましたので、それを前提に
調べていきたいと思います。どうもありがとうございました！

Answer 1

aokikenichiさま、tiitoiさま　ありがとうございました。
焦って結果の値のみを比較してましたが落ち着いて内部処理の
テンソルの値まで調べました。すると最初の頃は一致していますが
しばらく計算が進むと微妙にずれ行っているのが分かりました。
何かのバグというよりは、桁落ちなどの誤差が関係しているような
そういう微妙なズレ方をしていました。　randomを初期化していても環境によっては
結果は変わるというのがわかりました。ありがとうございました。