質問編集履歴
2
セキュリティの関わる問題なので削除させていただきました。
test
CHANGED
@@ -1 +1 @@
|
|
1
|
-
|
1
|
+
セキュリティの関わる問題なので削除させていただきました。
|
test
CHANGED
@@ -1 +1 @@
|
|
1
|
-
削除させていただきま
|
1
|
+
セキュリティの関わる問題なので削除させていただきました。
|
1
削除
test
CHANGED
File without changes
|
test
CHANGED
@@ -1,451 +1 @@
|
|
1
|
-
|
2
|
-
|
3
|
-
作成した管理画面のwriterformから更新系のHiveQlを入力した時
|
4
|
-
|
5
|
-
その更新先のデータベースを抽出するにはどういたらいいか?
|
6
|
-
|
7
|
-
|
8
|
-
|
9
|
-
|
10
|
-
|
11
|
-
例
|
12
|
-
|
13
|
-
drop database DB名;
|
14
|
-
|
15
|
-
や
|
16
|
-
|
17
|
-
drop table TB名;
|
18
|
-
|
19
|
-
とHiveQlで宣言された時その対象のDB名を抽出する。
|
20
|
-
|
21
|
-
|
22
|
-
|
23
|
-
|
24
|
-
|
25
|
-
ただ
|
26
|
-
|
27
|
-
クエリの宣言も様々ですし
|
28
|
-
|
29
|
-
|
30
|
-
|
31
|
-
use DB名1;
|
32
|
-
|
33
|
-
drop database DB名2;
|
34
|
-
|
35
|
-
と打たれた時に更新クエリの対象DBはDB名2なのでそこを抽出したいので、その対象のDBはどこかをEXPLAINファイルを解析して抽出できるようにしたいです。
|
36
|
-
|
37
|
-
|
38
|
-
|
39
|
-
おそらく既存のコードだけだはそれができないと思いますので
|
40
|
-
|
41
|
-
どうすればできるようになるか教えていただきたいです。
|
42
|
-
|
43
|
-
|
44
|
-
|
45
|
-
既存コード
|
46
|
-
|
47
|
-
```php
|
48
|
-
|
49
|
-
//EXPLAINファイルを解析してクエリ種類とデータベース名を抽出
|
50
|
-
|
51
|
-
function CheckExplainParce($u_userid,$u_id){
|
52
|
-
|
53
|
-
$cnt=0;//$cnt=無効
|
54
|
-
|
55
|
-
$results=array();//結果=配列()
|
56
|
-
|
57
|
-
$cur_db="default";//$cur_db(使用DB)="default"
|
58
|
-
|
59
|
-
$sql_query="";//$sql_query=""(クエリ種類?)存在価値ある??
|
60
|
-
|
61
|
-
$sql_query_no=0;//$sql_query_no=無効
|
62
|
-
|
63
|
-
$exp_file=DIR_RESULT."/${u_userid}/${u_id}.exp";//大事
|
64
|
-
|
65
|
-
|
66
|
-
|
67
|
-
if ( !($fp=fopen($exp_file,"r")) ){ return $results; }//fopen()=ファイルをオープン。 $fp=開けた$exp_fileが"r"ではない場合 $resultsを返す。
|
68
|
-
|
69
|
-
while(!feof($fp)){//while=ループ文 feof — ファイルポインタがファイル終端に達しているかどうか調べる $fのファイルポインタがファイル終端に達していない場合以下をループする。
|
70
|
-
|
71
|
-
|
72
|
-
|
73
|
-
|
74
|
-
|
75
|
-
$data = fgets($fp, 10240); //fgets — ファイルポインタから1行取得する $data = ($fp, 10240)でファイルポインタから1行取得する
|
76
|
-
|
77
|
-
$data=str_replace(array("\r\n","\n","\r"), '', $data);//str_replace — 検索文字列に一致したすべての文字列を置換する 配列(改行、改行、改行),空白,fgets($fp, 10240); かいぎょうを空白に変換
|
78
|
-
|
79
|
-
if ( eregi("^use ",$data) ){//eregi — 大文字小文字を区別せずに正規表現によるマッチングを行う useからはじまる、$data(どうなってるか不明?)の場合
|
80
|
-
|
81
|
-
list($dummy,$cur_db)=split("[ ;]",$data); //list — 配列と同様の形式で、複数の変数への代入を行う split — 正規表現により文字列を分割し、配列に格納する ($dummy,$cur_db("default"?))=("[ ;]"を,$dataに配列に格納する)
|
82
|
-
|
83
|
-
}"[ ;]",$data//よくわからない
|
84
|
-
|
85
|
-
|
86
|
-
|
87
|
-
//クエリ
|
88
|
-
|
89
|
-
if ( eregi("^explain ",$data) ){//explainからはじまる,$data(どうなっているか不明)の場合
|
90
|
-
|
91
|
-
$sql_query=substr($data,8);//substr — 文字列の一部分を返す $sql_query=($dataの8)を返す
|
92
|
-
|
93
|
-
//$this->log("QUERY=[$sql_query]",LOG_DEBUG);
|
94
|
-
|
95
|
-
$sql_query_no++;//$sql_query_noに1を足す
|
96
|
-
|
97
|
-
}
|
98
|
-
|
99
|
-
|
100
|
-
|
101
|
-
// トークン部分の解析
|
102
|
-
|
103
|
-
//
|
104
|
-
|
105
|
-
// 【解析仕様】
|
106
|
-
|
107
|
-
// ・トークンは『ABSTRACT SYNTAX TREE』行と『STAGE DEPENDENCIES』行の間にある
|
108
|
-
|
109
|
-
// ・データベース名及びテーブル名(以降 オブジェクト部)は次のターゲットトークンの次の行以降にインデントされて定義されている
|
110
|
-
|
111
|
-
// → TOK_TABNAME、TOK_TABTYPE、TOK_ALTERTABLE、TOK_TABTYPE、TOK_SHOW
|
112
|
-
|
113
|
-
// ・オブジェクト部には『データベース名行 + テーブル名行』または『テーブル名行』のパターンがある
|
114
|
-
|
115
|
-
// ・オブジェクト部の範囲はターゲットトークンのインデントと同じまたは浅い行の前行までとする
|
116
|
-
|
117
|
-
// ・オブジェクト部に別のターゲットトークンがあった場合、オブジェクト部はその前行までとし、別のターゲットトークン以降を新しいオブジェクト部として処理する
|
118
|
-
|
119
|
-
//
|
120
|
-
|
121
|
-
if (eregi("^ABSTRACT SYNTAX TREE", $data) and !feof($fp)) {//^ABSTRACT SYNTAX TREE"からはじまる$data(どうなってるか不明?)と$fpがファイルポインタがファイル終端に達していない場合
|
122
|
-
|
123
|
-
$data = fgets($fp, 10240);//$data = ($fp, 10240)でファイルポインタから次の1行取得する
|
124
|
-
|
125
|
-
$data = str_replace(array("\r\n","\n","\r"), '', $data);//配列(改行、改行、改行),空白,fgets($fp, 10240); かいぎょうを空白に変換
|
126
|
-
|
127
|
-
|
128
|
-
|
129
|
-
$sql_type="";//$sql_type=空白
|
130
|
-
|
131
|
-
|
132
|
-
|
133
|
-
while (!feof($fp)) {//$fのファイルポインタがファイル終端に達していない場合以下をループする。
|
134
|
-
|
135
|
-
if (eregi("^STAGE DEPENDENCIES", $data)) { break; }//STAGE DEPENDENCIESからはじまる$data(どうなってるか不明?)の場合、ループ終了
|
136
|
-
|
137
|
-
|
138
|
-
|
139
|
-
$sql_type = CommonComponent::CheckTOK2SQLtype(trim($data), $sql_type);//トークン名からクエリに変換 //trim — 文字列の先頭および末尾にあるホワイトスペースを取り除く
|
140
|
-
|
141
|
-
|
142
|
-
|
143
|
-
if (eregi("^TOK_TABNAME|^TOK_TABTYPE|^TOK_ALTERTABLE|^TOK_TABTYPE|^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE", trim($data))) {//trim — 文字列の先頭および末尾にあるホワイトスペースを取り除く "^TOK_TABNAME|^TOK_TABTYPE|^TOK_ALTERTABLE|^TOK_TABTYPE|^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE"からはじまる(文字列の先頭および末尾にあるホワイトスペースを取り除いた$data())の場合
|
144
|
-
|
145
|
-
$tok_indent = strlen($data) - strlen(ltrim($data));//strlen — 文字列の長さを得る ltrim — 文字列の最初から空白 (もしくはその他の文字) を取り除く $tok_indent = ($data)の長さ - (($data))の文字列の最初から空白 (もしくはその他の文字) を取り除いた長さ
|
146
|
-
|
147
|
-
$token = trim($data);// $token =文字列の先頭および末尾にあるホワイトスペースを取り除いた($data)(何が入っているかさっぱり)
|
148
|
-
|
149
|
-
|
150
|
-
|
151
|
-
$data = fgets($fp, 10240);//$data = ($fp, 10240)でファイルポインタから次の1行取得する
|
152
|
-
|
153
|
-
$data = str_replace(array("\r\n","\n","\r"), '', $data);//配列(改行、改行、改行),空白,fgets($fp, 10240); かいぎょうを空白に変換
|
154
|
-
|
155
|
-
|
156
|
-
|
157
|
-
$objects = array();//$objects = 配列()
|
158
|
-
|
159
|
-
|
160
|
-
|
161
|
-
while (!feof($fp)) {//fpがファイルポインタがファイル終端に達していない場合
|
162
|
-
|
163
|
-
if (eregi("^TOK_TABNAME|^TOK_TABTYPE|^TOK_ALTERTABLE|^TOK_TABTYPE|^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE", trim($data))) { break; }//"^TOK_TABNAME|^TOK_TABTYPE|^TOK_ALTERTABLE|^TOK_TABTYPE|^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE"からはじまる(文字列の先頭および末尾にあるホワイトスペースを取り除いた$data())の場合,ループ終了 break=ループ終了
|
164
|
-
|
165
|
-
if ($tok_indent >= (strlen($data) - strlen(ltrim($data)))) { break; }//>= より多いか等しい $tok_indentの長さが($data) -(($data))の文字列の最初から空白 (もしくはその他の文字) を取り除いた長さと等しいかそれより多い場合、ループ終了
|
166
|
-
|
167
|
-
|
168
|
-
|
169
|
-
if (!eregi("^TOK_|.", trim($data))) {//^TOK_|.からはじまる文字列の先頭および末尾にあるホワイトスペースを取り除いた$data(どうなってるか不明?)ではない場合
|
170
|
-
|
171
|
-
$objects[] = trim($data);//$objectsの[]の中身=先頭および末尾にあるホワイトスペースを取り除いた$data(どうなってるか不明?)
|
172
|
-
|
173
|
-
}
|
174
|
-
|
175
|
-
$data = fgets($fp, 10240);//$data = ($fp, 10240)でファイルポインタから1行取得する
|
176
|
-
|
177
|
-
$data=str_replace(array("\r\n","\n","\r"), '', $data);//配列(改行、改行、改行),空白,fgets($fp, 10240); かいぎょうを空白に変換
|
178
|
-
|
179
|
-
}
|
180
|
-
|
181
|
-
|
182
|
-
|
183
|
-
if (count($objects) >= 2) {//count — 変数に含まれるすべての要素、 あるいは$objectsつまりarray()に含まれる何かの数を数える $objectsが2と等しいかそれより大きい場合
|
184
|
-
|
185
|
-
$results[$cnt]->no = $sql_query_no;
|
186
|
-
|
187
|
-
$results[$cnt]->type = $sql_type;
|
188
|
-
|
189
|
-
$results[$cnt]->db = $objects[0];
|
190
|
-
|
191
|
-
$results[$cnt]->tbl = $objects[1];
|
192
|
-
|
193
|
-
$cnt++;
|
194
|
-
|
195
|
-
} else if (count($objects) == 1) {//上のifが偽で$objectsつまりarray()が1と等しい場合
|
196
|
-
|
197
|
-
$results[$cnt]->no = $sql_query_no;
|
198
|
-
|
199
|
-
$results[$cnt]->type = $sql_type;
|
200
|
-
|
201
|
-
if (eregi("^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE", $token)) {//"^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE"からはじまる $tokenつまり(trim($data)の場合
|
202
|
-
|
203
|
-
$results[$cnt]->db = $objects[0];
|
204
|
-
|
205
|
-
$results[$cnt]->tbl = "";
|
206
|
-
|
207
|
-
} else {//上のifが偽の場合
|
208
|
-
|
209
|
-
$results[$cnt]->db = $cur_db;
|
210
|
-
|
211
|
-
$results[$cnt]->tbl = $objects[0];
|
212
|
-
|
213
|
-
}
|
214
|
-
|
215
|
-
$cnt++;
|
216
|
-
|
217
|
-
} else if (count($objects) == 0 and eregi("^TOK_SHOW", $token)) {//上のeleseifが偽で$objectsつまりarray()が0と等しい&"^TOK_SHOW"からはじまる $tokenつまり(trim($data)の場合
|
218
|
-
|
219
|
-
$results[$cnt]->no = $sql_query_no;
|
220
|
-
|
221
|
-
$results[$cnt]->type = $sql_type;
|
222
|
-
|
223
|
-
$results[$cnt]->db = $cur_db;
|
224
|
-
|
225
|
-
$results[$cnt]->tbl = "";
|
226
|
-
|
227
|
-
$cnt++;
|
228
|
-
|
229
|
-
}
|
230
|
-
|
231
|
-
} else {//上のif,eleseifが全て偽の場合
|
232
|
-
|
233
|
-
$data = fgets($fp, 10240);//$data = ($fp, 10240)でファイルポインタから1行取得する
|
234
|
-
|
235
|
-
$data = str_replace(array("\r\n","\n","\r"), '', $data);//配列(改行、改行、改行),空白,fgets($fp, 10240);
|
236
|
-
|
237
|
-
}
|
238
|
-
|
239
|
-
}
|
240
|
-
|
241
|
-
|
242
|
-
|
243
|
-
$sql_query = "";//$sql_query = 空白
|
244
|
-
|
245
|
-
}
|
246
|
-
|
247
|
-
}
|
248
|
-
|
249
|
-
fclose($fp);//fclose — オープンされたファイルポインタをクローズする $fpをクローズする
|
250
|
-
|
251
|
-
return $results;//$resultsを返す。
|
252
|
-
|
253
|
-
}
|
254
|
-
|
255
|
-
|
256
|
-
|
257
|
-
```
|
258
|
-
|
259
|
-
|
260
|
-
|
261
|
-
```php
|
262
|
-
|
263
|
-
function CheckTOK2SQLtype($data,$sql_type){
|
264
|
-
|
265
|
-
if ( $data == "TOK_DESCTABLE" ){ return "desc"; }
|
266
|
-
|
267
|
-
if ( $data == "TOK_CREATETABLE" ){ return "create table"; }
|
268
|
-
|
269
|
-
if ( $data == "TOK_TABREF" ){ return "select"; }
|
270
|
-
|
271
|
-
if ( $data == "TOK_INSERT" ){ return "insert"; }
|
272
|
-
|
273
|
-
if ( $data == "TOK_DROPTABLE" ){ return "drop table"; }
|
274
|
-
|
275
|
-
if ( eregi("^TOK_SHOW",$data) ){ return "show"; }
|
276
|
-
|
277
|
-
if ( eregi("^TOK_ALTER",$data) ){ return "alter table"; }
|
278
|
-
|
279
|
-
|
280
|
-
|
281
|
-
if ( $data == "TOK_CREATEDATABASE" ){ return "create database"; }
|
282
|
-
|
283
|
-
if ( $data == "TOK_DROPDATABASE" ){ return "drop database"; }
|
284
|
-
|
285
|
-
|
286
|
-
|
287
|
-
return $sql_type;
|
288
|
-
|
289
|
-
}
|
290
|
-
|
291
|
-
```
|
292
|
-
|
293
|
-
|
294
|
-
|
295
|
-
```
|
296
|
-
|
297
|
-
hive ql
|
298
|
-
|
299
|
-
create table wanko(id int,name varchar(50));
|
300
|
-
|
301
|
-
|
302
|
-
|
303
|
-
|
304
|
-
|
305
|
-
explainファイル
|
306
|
-
|
307
|
-
|
308
|
-
|
309
|
-
OK
|
310
|
-
|
311
|
-
ABSTRACT SYNTAX TREE:
|
312
|
-
|
313
|
-
|
314
|
-
|
315
|
-
TOK_CREATETABLE
|
316
|
-
|
317
|
-
TOK_TABNAME
|
318
|
-
|
319
|
-
wanko
|
320
|
-
|
321
|
-
TOK_LIKETABLE
|
322
|
-
|
323
|
-
TOK_TABCOLLIST
|
324
|
-
|
325
|
-
TOK_TABCOL
|
326
|
-
|
327
|
-
id
|
328
|
-
|
329
|
-
TOK_INT
|
330
|
-
|
331
|
-
TOK_TABCOL
|
332
|
-
|
333
|
-
name
|
334
|
-
|
335
|
-
TOK_VARCHAR
|
336
|
-
|
337
|
-
50
|
338
|
-
|
339
|
-
|
340
|
-
|
341
|
-
|
342
|
-
|
343
|
-
STAGE DEPENDENCIES:
|
344
|
-
|
345
|
-
Stage-0 is a root stage
|
346
|
-
|
347
|
-
|
348
|
-
|
349
|
-
STAGE PLANS:
|
350
|
-
|
351
|
-
Stage: Stage-0
|
352
|
-
|
353
|
-
Create Table Operator:
|
354
|
-
|
355
|
-
Create Table
|
356
|
-
|
357
|
-
columns: id int, name varchar(50)
|
358
|
-
|
359
|
-
input format: org.apache.hadoop.mapred.TextInputFormat
|
360
|
-
|
361
|
-
output format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat
|
362
|
-
|
363
|
-
serde name: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
|
364
|
-
|
365
|
-
name: webhive_test1.wanko
|
366
|
-
|
367
|
-
|
368
|
-
|
369
|
-
Time taken: 0.141 seconds, Fetched: 29 row(s)
|
370
|
-
|
371
|
-
|
372
|
-
|
373
|
-
```
|
374
|
-
|
375
|
-
以下HiveQl EXPLAINファイル
|
376
|
-
|
377
|
-
|
378
|
-
|
379
|
-
DB名
|
380
|
-
|
381
|
-
webhive_test1
|
382
|
-
|
383
|
-
・TB wanko
|
384
|
-
|
385
|
-
|
386
|
-
|
387
|
-
DB名
|
388
|
-
|
389
|
-
webhive_test2
|
390
|
-
|
391
|
-
・TB nyanko
|
392
|
-
|
393
|
-
|
394
|
-
|
395
|
-
|
396
|
-
|
397
|
-
|
398
|
-
|
399
|
-
```
|
400
|
-
|
401
|
-
hivepl
|
402
|
-
|
403
|
-
drop table wanko;
|
404
|
-
|
405
|
-
|
406
|
-
|
407
|
-
|
408
|
-
|
409
|
-
explainファイル
|
410
|
-
|
411
|
-
|
412
|
-
|
413
|
-
OK
|
414
|
-
|
415
|
-
ABSTRACT SYNTAX TREE:
|
416
|
-
|
417
|
-
|
418
|
-
|
419
|
-
TOK_DROPTABLE
|
420
|
-
|
421
|
-
TOK_TABNAME
|
422
|
-
|
423
|
-
wanko
|
424
|
-
|
425
|
-
|
426
|
-
|
427
|
-
|
428
|
-
|
429
|
-
STAGE DEPENDENCIES:
|
430
|
-
|
431
|
-
Stage-0 is a root stage
|
432
|
-
|
433
|
-
|
434
|
-
|
435
|
-
STAGE PLANS:
|
436
|
-
|
437
|
-
Stage: Stage-0
|
438
|
-
|
439
|
-
Drop Table Operator:
|
440
|
-
|
441
|
-
Drop Table
|
442
|
-
|
443
|
-
table: wanko
|
444
|
-
|
445
|
-
|
446
|
-
|
447
|
-
Time taken: 0.031 seconds, Fetched: 17 row(s)
|
448
|
-
|
449
|
-
|
450
|
-
|
451
|
-
```
|
1
|
+
削除させていただきます。よろしくお願いします。。。。。。。。。。。。。
|