質問編集履歴
1
fdsafsafdasfadfas
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
|
|
1
|
+
dfasfdasfdsasfd
|
test
CHANGED
|
@@ -1,45 +1 @@
|
|
|
1
|
-
### 環境
|
|
2
|
-
CentOS
|
|
3
|
-
Python3
|
|
4
|
-
### やりたいこと
|
|
5
|
-
メモリに乗りきらない大容量csvの重複レコード有無を判別したい。
|
|
6
|
-
|
|
7
|
-
### 補足
|
|
8
|
-
CentOS上で数十GBのcsvの集計を実施するタスクがある。
|
|
9
|
-
メモリに全レコード乗らないので、pandasでchunksizeを指定してTextFileReaderをループして集計する方針を立てた。
|
|
10
|
-
|
|
11
|
-
大部分の集計はこれで問題ないと思われたが、レコードを分割してしまうと全レコードに対して重複するレコードがないか確認する手段がないと気付いた。
|
|
12
|
-
|
|
13
|
-
概ね全カラム必要となるのでusecolでカラムを絞るのは不可。
|
|
14
|
-
csvの最大サイズが保証されないので、dtype明示してある程度メモリを節約してもオーバーフローする可能性あり。
|
|
15
|
-
### 試したこと
|
|
16
|
-
各カラムの値の組み合わせ毎に一意な識別子を生成する。
|
|
17
|
-
生成された識別子をリストに格納して重複判定する。
|
|
18
|
-
もしくはデリミタを設けて文字列型辺りでスタックして文字列検索して重複判定する。
|
|
19
|
-
|
|
20
|
-
例
|
|
21
|
-
|A|B|C|
|
|
22
|
-
|
|
1
|
+
fdsaadfasfdsafda
|
|
23
|
-
|1|2|3|
|
|
24
|
-
|4|5|6|
|
|
25
|
-
|7|8|9|
|
|
26
|
-
|
|
27
|
-
上記テーブルの場合、
|
|
28
|
-
[123,456,789]に重複がないので重複レコードなし。
|
|
29
|
-
もしくは string型のstr = '/123/456/'と順番にスタックして、789が文字列内に含まれないので重複レコードなし。
|
|
30
|
-
以降は str = '/123/456/789/'として同様に後続の判定。
|
|
31
|
-
|
|
32
|
-
### 問題点
|
|
33
|
-
いずれの場合も数十GBのテーブルのすべてのレコードに対して識別子を生成する処理が必要となり、非常に処理時間が長くなってしまう。
|
|
34
|
-
|
|
35
|
-
かつ、レコードが非常に多い場合、リストでも文字列でもメモリに乗りきらない可能性がある。
|
|
36
|
-
|
|
37
|
-
### 結局知りたいこと
|
|
38
|
-
メモリは有限だが、csvの最大サイズは保証されない。
|
|
39
|
-
つまり、それらに依存せず、任意のメモリ内で分割して重複判定ができる方法があれば知りたい。
|
|
40
|
-
|
|
41
|
-
個人的には、少なくとも何らかの形でメモリに乗せきる必要はあると思う。
|
|
42
|
-
|
|
43
|
-
ただ、以前別件で鶴の一声があって、考えてみればそりゃそうだと思う様な手法で解決した実績があるので取り敢えず質問した次第です。
|
|
44
|
-
|
|
45
|
-
根幹的解決に至らずとも、少しでもメモリ効率を上げる手法がございましたらご提案いただけますと幸甚です。
|