Stringで保存した小数点の列、INSERT OVERWRITEしたテーブルで総和をとったところ小数点2桁以下で合計が異なる

Question

緯度経度を含むテーブルを作成、
latitude,longitudeにはINSERT INTO, INSERT OVERWRITE しかしてないです。

確認のため列ごとの合計を取ったところ、
latitudeの合計値が小数点2桁以下でわずかに異なってしまいました。

しかし他の列(固有ＩＤの数、speedの合計)はすべて同じで、行数も増減ありません。
stringで保存しているのに、INSERT, OVERWRITEしただけで値が変わってしまうことはありますか？

行数は約11億件です。

元データ テーブル
ID string
latitude string
longitude string
speed string
・
・
・
作成したテーブル
ID string
latitude string
longitude string
speed string
d_speed
ma_speed
・

new tableに新たな列を作り、INSERT OVERWRITEしています。

INSERT INTO new table
ID string,
latitude,
longitude,
speed,
<その他データの保管処理、計算処理など
latitude,longitudeは一切計算していません>
FROM old table

INSERT OVERWRITE new table
ID string,
latitude,
longitude,
speed,
<その他データの保管処理、計算処理など
latitude,longitudeは一切計算していません>
FROM new table

検算のため列ごとにカウントしたり挿話を取りました。
SELECT COUNT() FROM new table
SELECT COUNT() FROM old table
→一致

SELECT COUNT (DISTINCT ID) FROM new table
SELECT COUNT (DISTINCT ID) FROM old table
→一致

SELECT SUM(latitude) FROM new table
SELECT SUM(latitude) FROM old table
→小数点二けた以下が不一致

SELECT SUM(speed) FROM new table
SELECT SUM(speed) FROM old table
→一致

Comments

[y_waiwai]

どういう計算式で、どういうふうに計算して、どう結果が違ったんでしょうか。
具体例も示して、詳しく説明しましょう

[Satomi07]

ありがとうございます、質問を編集しました。

[Orlofsky]

>Stringで保存した小数点の列
なぜ最初から数値型にしないのでしょうか？
誤差も出やすくなるだろうと想像できるし、暗黙の型変換で処理速度も落ちるだろうに。
テーブル定義はCREATE TABLEに、現象を再現できるレベルのデータも提示できた方が解決は早そうです。

[Satomi07]

数値型だと丸められてしまうからＳtringにしていました。
（要求でもありました）
すみません、Stringで「誤差が出やすくなる」というのはどういうことでしょうか？

[Orlofsky]

>Stringで誤差が出るというのはどういうことでしょうか？
そういう質問では？

>テーブル定義はCREATE TABLEに、現象を再現できるレベルのデータも提示できた方が解決は早そうです。
って大事な事を書いたつもりですが。

decimal は試しましたか？
https://riptutorial.com/ja/hive/example/17878/%E6%95%B0%E5%80%A4%E3%82%BF%E3%82%A4%E3%83%97

[Satomi07]

当初は数値型の予定でしたが、先方の要求がStringだったのもありまして。

※基礎的な質問ですみません、Stringに変換したデータが、書き変わることってあるのでしょうか？

[Satomi07]

データ総数が11億で、小数点一桁以下の誤差なので、おそらく型変換時のミスだとは思うのですけど、Stringならば丸められることもないと思っていたのですが…。

[Orlofsky]

数値で11億件で試しては？誤差がなければ数値にしたいと依頼元に相談する。

[Satomi07]

そうか、Stringで保存しても、全部数字なので、認識される際にlongとかになってるのでしょうか。

[Satomi07]

ありがとうございます。回答に書いていただけませんか？ベストアンサーにするので。

Answer 1

SUMするためには数値型でなくてはなりません。
11億件全件のデータをSTRING型から数値型に変換してから、SUMします。

SELECT SUM(latitude) FROM new table
SELECT SUM(latitude) FROM old table