teratail
回答率
85.37%
teratail 10th-anniversary
teratail 10th-anniversary
質問するログイン新規登録
トップデータベースに関する質問ハッシュ値とUUIDを用いたデータ管理

編集履歴

回答編集履歴

3

さらに追加検証

2021/06/26 11:04

投稿

neonemo
neonemo

スコア191

test CHANGED
@@ -1,3 +1,9 @@
1
+ # ★初期回答
2
+
3
+ ※ 誤っている点もありますが、記録として残しておきます。後ろに追加した**追加検証**もご覧ください。（誤っている箇所は取り消し線を入れました）
4
+
5
+
6
+
1
7
  完全に私の主観ですが、こういう事ではないでしょうか。
2
8
 
3
9
 
@@ -18,9 +24,11 @@
18
24
 
19
25
  UUIDを使う意図としては**重複しない事**ですね。辞書型のキーとして使うならここは重要と思います。
20
26
 
21
- データの中身は一緒でもキーが異なるので、同じデータをいくつも持てる事にもなります。
27
+ ~~データの中身は一緒でもキーが異なるので、同じデータをいくつも持てる事にもなります。~~
28
+
29
+
30
+
22
-
31
+ ※このプロダクトだとキーは2種類。同一データでもユニークに扱うためのキーと、KV型データの中のキーに相当するものがあります。以降、**ユニークキー**、**データキー**と使い分けます。
23
-
24
32
 
25
33
 
26
34
 
@@ -30,25 +38,33 @@
30
38
 
31
39
  データをハッシュ化する事で、一定の型（組込hash()なので整数）になります。
32
40
 
33
- **格納するデータの型はオブジェクトも含んでまちまち**だと思いますが、**一緒かどうかという判定はラク**に出来ると思います。
41
+ ~~格納するデータの型はオブジェクトも含んでまちまちだと思いますが、一緒かどうかという判定はラクに出来ると思います。
34
-
42
+
35
- キーが違っていても同じデータというのはあるので、それらが一緒かどうかというのもハッシュを見るだけでOKという事になります。
43
+ キーが違っていても同じデータというのはあるので、それらが一緒かどうかというのもハッシュを見るだけでOKという事になります。~~
44
+
45
+
46
+
36
-
47
+ ※正しくは、**データキーの重複に容易に気づける事**でしょう
37
-
38
-
48
+
49
+
50
+
51
+
52
+
39
- ただ、これは要件次第ではデメリットにもなると思っていまして
53
+ ~~ただ、これは要件次第ではデメリットにもなると思っていまして
40
54
 
41
55
  データとしてオブジェクトを格納する場合、一律で`hash(tuple(data))`としているのでオブジェクトの中の特定の値を見たいといった場合には、正しく比較が出来ない可能性もあります。
42
56
 
43
- （例えば`data.hoge`の値だけで同値かを判定する）
57
+ （例えば`data.hoge`の値だけで同値かを判定する）~~
44
-
45
-
46
-
58
+
59
+
60
+
47
- 単に、is演算子的な比較をしたいのかどうかというのもありますね。
61
+ ~~単に、is演算子的な比較をしたいのかどうかというのもありますね。
48
-
62
+
49
- どちらにせよ、この辺は作りたいものに合わせて修正する必要があるかもしれません。
63
+ どちらにせよ、この辺は作りたいものに合わせて修正する必要があるかもしれません。~~
64
+
65
+
66
+
50
-
67
+ ※botterの性質を考えると、デメリットは特に思いつきません
51
-
52
68
 
53
69
 
54
70
 
@@ -60,7 +76,11 @@
60
76
 
61
77
 
62
78
 
63
- 質問に掲載したコードの意図はこれと似たようなものではないのかと思いました。
79
+ ~~質問に掲載したコードの意図はこれと似たようなものではないのかと思いました。~~
80
+
81
+
82
+
83
+ ※機能の性質としてはあっているが、意図とは異なるでしょうね…orz
64
84
 
65
85
 
66
86
 
@@ -81,3 +101,185 @@
81
101
  [モジュール java.base > パッケージ java.lang > クラスObject > java.lang.Object](https://docs.oracle.com/javase/jp/15/docs/api/java.base/java/lang/Object.html#equals(java.lang.Object))
82
102
 
83
103
  https://docs.oracle.com/javase/jp/15/docs/api/java.base/java/lang/Object.html#equals(java.lang.Object)
104
+
105
+
106
+
107
+
108
+
109
+ # ★追加検証分
110
+
111
+ 追記分です。
112
+
113
+
114
+
115
+ 今回掲載したコードで目的を考えるなら、下記の性質から**単サーバ複クライアントでも最新データに気づく為の仕掛け**と考えると腑に落ちました。
116
+
117
+
118
+
119
+ - ① `DataBase._index`にはキーの数だけ要素が増える事
120
+
121
+ - ② `DataBase._data`の各要素に対するindexは、最新のidを指している事
122
+
123
+ - ③ GitHubのプロダクトが仮想通貨用のbotterである事（時間とタイミングの勝負でしょうし）
124
+
125
+
126
+
127
+
128
+
129
+ ## 検証コード
130
+
131
+ ```python3
132
+
133
+ from typing import Dict
134
+
135
+ import uuid
136
+
137
+
138
+
139
+ class DataBase:
140
+
141
+
142
+
143
+ def __init__(self) -> None:
144
+
145
+ """
146
+
147
+ 初期化
148
+
149
+ """
150
+
151
+ self._data: Dict[uuid.UUID, Dict] = {}
152
+
153
+ self._index: Dict[int, uuid.UUID] = {}
154
+
155
+
156
+
157
+
158
+
159
+ def insert(self, data: Dict[str, int]) -> None:
160
+
161
+ """
162
+
163
+ KV型データを追加する
164
+
165
+ """
166
+
167
+ _id = uuid.uuid4()
168
+
169
+ self._data[_id] = data
170
+
171
+
172
+
173
+ keyhash = hash(tuple(data))
174
+
175
+ self._index[keyhash] = _id
176
+
177
+
178
+
179
+ def print_all_datas(self):
180
+
181
+ """
182
+
183
+ データリストを出力する
184
+
185
+ """
186
+
187
+ for i, _id in enumerate(self._data):
188
+
189
+ _data = self._data[_id]
190
+
191
+ _seed = tuple(_data)
192
+
193
+ _keyhash = hash(_seed)
194
+
195
+ _index = self._index[_keyhash]
196
+
197
+ print(f'{i} => id: {_id}, index: {_index}, hash: {_keyhash: >20}, seed: {_seed}, data: {_data}')
198
+
199
+
200
+
201
+ def print_all_indexes(self):
202
+
203
+ """
204
+
205
+ ハッシュリストを出力する
206
+
207
+ """
208
+
209
+ for i, _keyhash in enumerate(self._index):
210
+
211
+ _id = self._index[_keyhash]
212
+
213
+ print(f'{i} => hash: {_keyhash: >20}, latest_id: {_id}')
214
+
215
+
216
+
217
+ db = DataBase()
218
+
219
+ db.insert({'priceA': 5000})
220
+
221
+ db.insert({'priceB': 4000})
222
+
223
+ db.insert({'priceA': 3000})
224
+
225
+ db.insert({'priceA': 5000})
226
+
227
+ db.insert({'priceA': 7000})
228
+
229
+
230
+
231
+ print('### print_all_datas ###')
232
+
233
+ db.print_all_datas()
234
+
235
+
236
+
237
+ print('### print_all_indexes ###')
238
+
239
+ db.print_all_indexes()
240
+
241
+ ```
242
+
243
+
244
+
245
+ ## 実行結果
246
+
247
+ ```log
248
+
249
+ ### print_all_datas ###
250
+
251
+ 0 => id: 498a2423-8f65-42ac-90f7-d2e321f8b1ec, index: 689e09cb-dadd-4cb7-ad69-a6377c4a362f, hash: -261320819014024164, seed: ('priceA',), data: {'priceA': 5000}
252
+
253
+ 1 => id: daaa98fb-cba8-4dbd-9299-172754780f01, index: daaa98fb-cba8-4dbd-9299-172754780f01, hash: 4814718565598271203, seed: ('priceB',), data: {'priceB': 4000}
254
+
255
+ 2 => id: c0422535-cdae-4b92-a22a-09cf98dd928f, index: 689e09cb-dadd-4cb7-ad69-a6377c4a362f, hash: -261320819014024164, seed: ('priceA',), data: {'priceA': 3000}
256
+
257
+ 3 => id: cf0d74f1-752f-43a6-898c-292c276d9bb3, index: 689e09cb-dadd-4cb7-ad69-a6377c4a362f, hash: -261320819014024164, seed: ('priceA',), data: {'priceA': 5000}
258
+
259
+ 4 => id: 689e09cb-dadd-4cb7-ad69-a6377c4a362f, index: 689e09cb-dadd-4cb7-ad69-a6377c4a362f, hash: -261320819014024164, seed: ('priceA',), data: {'priceA': 7000}
260
+
261
+ ### print_all_indexes ###
262
+
263
+ 0 => hash: -261320819014024164, latest_id: 689e09cb-dadd-4cb7-ad69-a6377c4a362f
264
+
265
+ 1 => hash: 4814718565598271203, latest_id: daaa98fb-cba8-4dbd-9299-172754780f01
266
+
267
+ ```
268
+
269
+
270
+
271
+ ## 検証結果から分かる事
272
+
273
+ - 登録したデータは重複キーも含めて全てユニークに持っている（UUIDをユニークキーとしている）
274
+
275
+ - indexには、最新データを持つユニークキーの一覧が入っている
276
+
277
+ - 各登録データは、hashを使ったデータキーによるアクセスをする事で、indexに入っている最新のユニークキーが事に気づける。クライアントとしては**自分のユニークキーとは違う**と気づける
278
+
279
+ - 今回の掲載コードにはありませんが、hashが一致しなければ更新させないといった**楽観的ロックの仕掛け**と見る事も出来そうですね
280
+
281
+
282
+
283
+
284
+
285
+ 以上です。長文失礼しました。

2

コード要らないか…

2021/06/26 11:04

投稿

neonemo
neonemo

スコア191

test CHANGED
@@ -44,32 +44,6 @@
44
44
 
45
45
 
46
46
 
47
- ```python
48
-
49
- data1 = { hoge: 123, fuga: 'piyo1' }
50
-
51
- data2 = { hoge: 123, fuga: 'piyo2' }
52
-
53
- ```
54
-
55
- といったデータがある時、どちらの比較を採用するのかといった感じです。
56
-
57
- ```python
58
-
59
- def equals1(a, b):
60
-
61
- return hash(tuple(a)) == hash(tuple(b))
62
-
63
-
64
-
65
- def equals2(a, b):
66
-
67
- return a.hoge == b.hoge
68
-
69
- ```
70
-
71
-
72
-
73
47
  単に、is演算子的な比較をしたいのかどうかというのもありますね。
74
48
 
75
49
  どちらにせよ、この辺は作りたいものに合わせて修正する必要があるかもしれません。

1

質問が素晴らしいのでコメントを入れるまでもないか…

2021/06/26 01:12

投稿

neonemo
neonemo

スコア191

test CHANGED
@@ -58,15 +58,11 @@
58
58
 
59
59
  def equals1(a, b):
60
60
 
61
- # falseになる
62
-
63
61
  return hash(tuple(a)) == hash(tuple(b))
64
62
 
65
63
 
66
64
 
67
65
  def equals2(a, b):
68
-
69
- # trueになる
70
66
 
71
67
  return a.hoge == b.hoge
72
68