質問編集履歴

3

【追記2】を入力しました。

2018/08/02 01:45

投稿

SatoshiMaruyama
SatoshiMaruyama

スコア16

test CHANGED
File without changes
test CHANGED
@@ -85,3 +85,19 @@
85
85
  ▼結果
86
86
 
87
87
  > Error: Resources exceeded during query execution: The query could not be executed in the allotted memory. Sort operator used for PARTITION BY used too much memory..
88
+
89
+
90
+
91
+
92
+
93
+ 【追記2】
94
+
95
+ 現在、下記サイトを参考にしております。
96
+
97
+ 引き続き、よろしくお願いします。
98
+
99
+
100
+
101
+ 「大きなデータを取得する」
102
+
103
+ https://tech.starttoday-tech.com/entry/bigquery_data_reduction#%E5%A4%A7%E3%81%8D%E3%81%AA%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E5%8F%96%E5%BE%97%E3%81%99%E3%82%8B

2

【追記1】をさらに入力しました。

2018/08/02 01:45

投稿

SatoshiMaruyama
SatoshiMaruyama

スコア16

test CHANGED
File without changes
test CHANGED
@@ -78,6 +78,10 @@
78
78
 
79
79
  FROM T1
80
80
 
81
+ ```
81
82
 
82
83
 
84
+
83
- ```
85
+ ▼結果
86
+
87
+ > Error: Resources exceeded during query execution: The query could not be executed in the allotted memory. Sort operator used for PARTITION BY used too much memory..

1

【追記1】を入力しました。

2018/08/02 01:22

投稿

SatoshiMaruyama
SatoshiMaruyama

スコア16

test CHANGED
File without changes
test CHANGED
@@ -29,3 +29,55 @@
29
29
 
30
30
 
31
31
  どうぞ、よろしくお願いします。
32
+
33
+
34
+
35
+ 【追記1】
36
+
37
+ ```BigQuery
38
+
39
+ WITH T1 as (
40
+
41
+ SELECT
42
+
43
+ カラム1,
44
+
45
+ カラム2,
46
+
47
+ カラム3
48
+
49
+ FROM
50
+
51
+ テーブル1(2,000万レコード)
52
+
53
+
54
+
55
+ UNION ALL
56
+
57
+
58
+
59
+ SELECT
60
+
61
+ カラム1,
62
+
63
+ カラム2,
64
+
65
+ カラム3
66
+
67
+ FROM
68
+
69
+ テーブル2(5,000万レコード)
70
+
71
+ )
72
+
73
+
74
+
75
+ SELECT
76
+
77
+ ROW_NUMBER() OVER (PARTITION BY カラム1 ORDER BY カラム2, カラム3) as CNT
78
+
79
+ FROM T1
80
+
81
+
82
+
83
+ ```