Q&A
「すみません、どの部分になんの問題があるのか現在は不明です。。」
それだからこそ質問なさっているのではないでしょうか。
コードも環境も示さないで「なんの問題があるのか現在は不明です。。」と言われても
がんばって解明してくださいとしか、、、
一般論としては、「そういうもの」じゃないかと思うのですが
完全一致させることが必須なのでしょうか？
乱数、桁落ち、ライブラリによっては計算ロジックを一部変えている場合も
みたいなところかなと思います
前提・実現したいこと
PytorchのLSTMを使った機械学習をしています。
いくつかのmacがあり、ハードウェアも異なればosバージョン等も若干異なってますが
状況からそれとは違う何かが起きている気がしています。
学習量が少ない場合は、どのマシンで計算しても
小数点以下全てで結果が完全一致しています。
しかし、学習量を増やすと計算途中で結果が変わってきてしまいます。
発生している問題・エラーメッセージ
計算途中でのエラーは発生していません。
学習量を増やしたとき、最初の数エポックでは
LSTMの予測結果は小数点以下含めて完全一致しているのですが
そのまま計算を続けると、ある同じエポックのタイミングで、
全てのマシンで同時に結果がズレはじめます。
該当のソースコード
すみません、どの部分になんの問題があるのか現在は不明です。。
試したこと
少量の学習量でPytorchのLSTM。全てのmacで結果が完全一致で問題は起きません。
学習量を２倍に増やして同じ計算。最初の数エポックまでは結果が完全一致で、
あるタイミングのエポックで、同時に全mac で結果がズレてきます。
なんらかのオーバフローが起きているとか、もしくはpytorchでこのような現象が起きたときに
何か対策することはあるのでしょうか？
補足情報（FW/ツールのバージョンなど）
１台だけpytorch 1.5.1で残りは1.6.0です。
同じ 1.6.0でもここに書いた状況が発生します。
ハードウェアやosバージョン,python環境は細かくなるので記載しませんが
もしそれが必要でしたら記載します。
CPU 実行でしょうか？
GPU 実行であれば、演算結果が多少ずれるのは、GPU の特性上そういうものという認識です。
ご回答ありがとうございます。
titoiさま。すべてCPUで実行しております。
いろいろコードをみてますが、なんせ膨大な量があって、ですので
こういう現象というのはありえることなのか、それとももしこの現象があったとしたら結果は信用できないのか、というところが気になっています。 aokikenichiさんに、ありえるということなので少し安心してきてはいます。
漠然とした質問にお答えいただきまして、ありがとうございました。
（randomについては初期ははしていまして、同じマシンで実行すれば毎回同じ結果は得られています。）
全くあり得ないことでは無い、ということを伺えましたので、それを前提に
調べていきたいと思います。どうもありがとうございました！
回答1件
0
自己解決
aokikenichiさま、tiitoiさま ありがとうございました。
焦って結果の値のみを比較してましたが落ち着いて内部処理の
テンソルの値まで調べました。すると最初の頃は一致していますが
しばらく計算が進むと微妙にずれ行っているのが分かりました。
何かのバグというよりは、桁落ちなどの誤差が関係しているような
そういう微妙なズレ方をしていました。 randomを初期化していても環境によっては
結果は変わるというのがわかりました。ありがとうございました。
投稿2020/10/02 05:36
総合スコア0
あなたの回答
tips
プレビュー
