セキュリティの関わる問題なので削除させていただきました。

Question

セキュリティの関わる問題なので削除させていただきました。

Answer 1

全く意味がわからないです、、

//EXPLAINファイルを解析してクエリ種類とデータベース名を抽出
	function CheckExplainParce($u_userid,$u_id){
		$cnt=0;//$cnt=無効
		$results=array();//結果＝配列()
		$cur_db="default";//$cur_db(使用DB)="default"
		$sql_query="";//$sql_query=""(クエリ種類？)
		$sql_query_no=0;//$sql_query_no=無効
		$exp_file=DIR_RESULT."/${u_userid}/${u_id}.exp";//大事

		if ( !($fp=fopen($exp_file,"r")) ){ return $results; }//fopen()=ファイルをオープン。　　$fp=開けた$exp_fileが"r"ではない場合　$resultsを返す。
		while(!feof($fp)){//while=ループ文　feof — ファイルポインタがファイル終端に達しているかどうか調べる　$fのファイルポインタがファイル終端に達していない場合以下をループする。


			$data = fgets($fp, 10240);　//fgets — ファイルポインタから1行取得する $data = ($fp, 10240)でファイルポインタから1行取得する 
			$data=str_replace(array("\r\n","\n","\r"), '', $data);//str_replace — 検索文字列に一致したすべての文字列を置換する 配列(改行、改行、改行),空白,fgets($fp, 10240);
			if ( eregi("^use ",$data) ){//eregi — 大文字小文字を区別せずに正規表現によるマッチングを行う  useからはじまる、$data（どうなってるか不明？）の場合
				list($dummy,$cur_db)=split("[ ;]",$data); //list — 配列と同様の形式で、複数の変数への代入を行う split — 正規表現により文字列を分割し、配列に格納する  ($dummy,$cur_db("default"?))=("[ ;]"を,$dataに配列に格納する)
			}"[ ;]",$data//よくわからない

			//クエリ
			if ( eregi("^explain ",$data) ){//explainからはじまる,$data(どうなっているか不明)の場合
				$sql_query=substr($data,8);//substr — 文字列の一部分を返す $sql_query=($dataの8)を返す
				//$this->log("QUERY=[$sql_query]",LOG_DEBUG);
				$sql_query_no++;//$sql_query_noに１を足す
			}

			// トークン部分の解析
			//
			// 【解析仕様】
			// ・トークンは『ABSTRACT SYNTAX TREE』行と『STAGE DEPENDENCIES』行の間にある
			// ・データベース名及びテーブル名（以降 オブジェクト部）は次のターゲットトークンの次の行以降にインデントされて定義されている
			//   → TOK_TABNAME、TOK_TABTYPE、TOK_ALTERTABLE、TOK_TABTYPE、TOK_SHOW
			// ・オブジェクト部には『データベース名行 + テーブル名行』または『テーブル名行』のパターンがある
			// ・オブジェクト部の範囲はターゲットトークンのインデントと同じまたは浅い行の前行までとする
			// ・オブジェクト部に別のターゲットトークンがあった場合、オブジェクト部はその前行までとし、別のターゲットトークン以降を新しいオブジェクト部として処理する
			//
			if (eregi("^ABSTRACT SYNTAX TREE", $data) and !feof($fp)) {//^ABSTRACT SYNTAX TREE"からはじまる$data（どうなってるか不明？）と$fpがファイルポインタがファイル終端に達していない場合
				$data = fgets($fp, 10240);//$data = ($fp, 10240)でファイルポインタから1行取得する 
				$data = str_replace(array("\r\n","\n","\r"), '', $data);//配列(改行、改行、改行),空白,fgets($fp, 10240);
				
				$sql_type="";//$sql_type=空白
				
				while (!feof($fp)) {//$fのファイルポインタがファイル終端に達していない場合以下をループする。
					if (eregi("^STAGE DEPENDENCIES", $data)) { break; }//STAGE DEPENDENCIESからはじまる$data（どうなってるか不明？）の場合、break(何するか不明)
				
					$sql_type = CommonComponent::CheckTOK2SQLtype(trim($data), $sql_type);//トークン名からクエリに変換 //trim — 文字列の先頭および末尾にあるホワイトスペースを取り除く
					
					if (eregi("^TOK_TABNAME|^TOK_TABTYPE|^TOK_ALTERTABLE|^TOK_TABTYPE|^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE", trim($data))) {//trim — 文字列の先頭および末尾にあるホワイトスペースを取り除く　　"^TOK_TABNAME|^TOK_TABTYPE|^TOK_ALTERTABLE|^TOK_TABTYPE|^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE"からはじまる(文字列の先頭および末尾にあるホワイトスペースを取り除いた$data())の場合
						$tok_indent = strlen($data) - strlen(ltrim($data));//strlen — 文字列の長さを得る ltrim — 文字列の最初から空白 (もしくはその他の文字) を取り除く  $tok_indent = ($data)の長さ - (($data))の文字列の最初から空白 (もしくはその他の文字) を取り除いた長さ
						$token = trim($data);// $token =文字列の先頭および末尾にあるホワイトスペースを取り除いた($data)(何が入っているかさっぱり)
						
						$data = fgets($fp, 10240);//$data = ($fp, 10240)でファイルポインタから1行取得する 
						$data = str_replace(array("\r\n","\n","\r"), '', $data);//配列(改行、改行、改行),空白,fgets($fp, 10240);
						
						$objects = array();//$objects = 配列()
						
						while (!feof($fp)) {//fpがファイルポインタがファイル終端に達していない場合
							if (eregi("^TOK_TABNAME|^TOK_TABTYPE|^TOK_ALTERTABLE|^TOK_TABTYPE|^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE", trim($data))) { break; }//"^TOK_TABNAME|^TOK_TABTYPE|^TOK_ALTERTABLE|^TOK_TABTYPE|^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE"からはじまる(文字列の先頭および末尾にあるホワイトスペースを取り除いた$data())の場合,break(何するか不明)
							if ($tok_indent >= (strlen($data) - strlen(ltrim($data)))) { break; }//>= より多いか等しい　$tok_indentの長さが($data) -(($data))の文字列の最初から空白 (もしくはその他の文字) を取り除いた長さと等しいかそれより多い場合、break(何するか不明)
							
							if (!eregi("^TOK_|\.", trim($data))) {//^TOK_|\.からはじまる文字列の先頭および末尾にあるホワイトスペースを取り除いた$data（どうなってるか不明？）ではない場合
								$objects[] = trim($data);//$objectsの[]の中身＝先頭および末尾にあるホワイトスペースを取り除いた$data（どうなってるか不明？）
							}
							$data = fgets($fp, 10240);//$data = ($fp, 10240)でファイルポインタから1行取得する 
							$data=str_replace(array("\r\n","\n","\r"), '', $data);//配列(改行、改行、改行),空白,fgets($fp, 10240);
						}
						
						if (count($objects) >= 2) {//count — 変数に含まれるすべての要素、 あるいは$objectsつまりarray()に含まれる何かの数を数える $objectsが２と等しいかそれより大きい場合
							$results[$cnt]->no = $sql_query_no;
							$results[$cnt]->type = $sql_type;
							$results[$cnt]->db = $objects[0];
							$results[$cnt]->tbl = $objects[1];
							$cnt++;
						} else if (count($objects) == 1) {//上のifが偽で$objectsつまりarray()が1と等しい場合
							$results[$cnt]->no = $sql_query_no;
							$results[$cnt]->type = $sql_type;
							if (eregi("^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE", $token)) {//"^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE"からはじまる $tokenつまり(trim($data)の場合
								$results[$cnt]->db = $objects[0];
								$results[$cnt]->tbl = "";
							} else {//上のifが偽の場合
								$results[$cnt]->db = $cur_db;
								$results[$cnt]->tbl = $objects[0];
							}
							$cnt++;
						} else if (count($objects) == 0 and eregi("^TOK_SHOW", $token)) {//上のeleseifが偽で$objectsつまりarray()が0と等しい＆"^TOK_SHOW"からはじまる $tokenつまり(trim($data)の場合
							$results[$cnt]->no = $sql_query_no;
							$results[$cnt]->type = $sql_type;
							$results[$cnt]->db = $cur_db;
							$results[$cnt]->tbl = "";
							$cnt++;
						}
					} else {//上のif,eleseifが全て偽の場合
						$data = fgets($fp, 10240);//$data = ($fp, 10240)でファイルポインタから1行取得する 
						$data = str_replace(array("\r\n","\n","\r"), '', $data);//配列(改行、改行、改行),空白,fgets($fp, 10240);
					}
				}
				
				$sql_query = "";//$sql_query = 空白
			}
		}
		fclose($fp);//fclose — オープンされたファイルポインタをクローズする $fpをクローズする 
		return $results;//$resultsを返す。
	}

	//トークン名からクエリに変換
	function CheckTOK2SQLtype($data,$sql_type){
		if ( $data == "TOK_DESCTABLE" ){ return "desc"; }
		if ( $data == "TOK_CREATETABLE" ){ return "create table"; }
		if ( $data == "TOK_TABREF" ){ return "select"; }
		if ( $data == "TOK_INSERT" ){ return "insert"; }
		if ( $data == "TOK_DROPTABLE" ){ return "drop table"; }
		if ( eregi("^TOK_SHOW",$data) ){ return "show"; }
		if ( eregi("^TOK_ALTER",$data) ){ return "alter table"; }

		if ( $data == "TOK_CREATEDATABASE" ){ return "create database"; }
		if ( $data == "TOK_DROPDATABASE" ){ return "drop database"; }

		return $sql_type;
	}

Comments

[coba-coba]

入力ファイルがあれば分かりやすいんですけどね。
ありますか？

あと、このコードを読む目的って何でしょうか。
学習用ならさらっと読めばいいと思いますし、このコードを使うと決まっているならテスト用データなどで試しながら読めばいいですし。

[amaguri]

EXPLAINファイルでしょうか？

また読解した続きや CheckTOK2SQLtypeの追加しました。

今回の目的としては
このコードから
EXPLAINで宣言されたDB名とクエリの抽出するのが目的です。。

例えばhiveクエリでこのコマンドを実行すると
use default;
use default;
create table IF NOT EXISTS tb_20160719170325 (col int);
show tables;

Logging initialized using configuration in file:/opt/mapr/hive/hive-1.0/conf/hive-log4j.properties
use default
OK
Time taken: 1.133 seconds

use default
OK
Time taken: 0.031 seconds

explain extended create table IF NOT EXISTS tb_20160719170325 (col int)
OK
ABSTRACT SYNTAX TREE:

TOK_CREATETABLE
TOK_TABNAME
tb_20160719170325
TOK_IFNOTEXISTS
TOK_LIKETABLE
TOK_TABCOLLIST
TOK_TABCOL
col
TOK_INT

STAGE DEPENDENCIES:
Stage-0 is a root stage

STAGE PLANS:
Stage: Stage-0
Create Table Operator:
Create Table
columns: col int
if not exists: true
input format: org.apache.hadoop.mapred.TextInputFormat
output format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat
serde name: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
name: default.tb_20160719170325

Time taken: 0.313 seconds, Fetched: 27 row(s)

explain extended show tables
OK
ABSTRACT SYNTAX TREE:

TOK_SHOWTABLES

STAGE DEPENDENCIES:
Stage-0 is a root stage
Stage-1 depends on stages: Stage-0

STAGE PLANS:
Stage: Stage-0
Show Table Operator:
Show Tables
database name: default
result file: file:/tmp/apache/488d427e-20a5-487c-87ca-b7c191ccef94/hive_2016-07-19_17-03-44_191_4220815827536929933-1/-local-10000

Stage: Stage-1
Fetch Operator
limit: -1
Processor Tree:
ListSink

Time taken: 0.031 seconds, Fetched: 22 row(s)
のようなファイルが出ています

[coba-coba]

目的はご質問文中のコードをそのまま使ってEXPLAINファイルから必要なデータを抽出するということですね。
EXPLAINファイルが手元にあるようなので、ご質問文中のコードの各ステップで変数の中身を出力させてみましょう。
コードをただ読むだけよりも理解度が高まります。

確かに他人が書いたコードを追っていくのは難しいですよね。
でも、ご質問文中のコードに書かれているamaguriさんのコメントを読む限りは、コードの意味は理解できていると思います。
もし分からない部分があれば、また別途質問してください。

今回のような質問だと、amaguriさんは何が分からないのか分かりません。
それにもしも私がコードが分かったとして、何をどのように答えていいのか分かりません……。

[amaguri]

$dataの動き
fgets($fp, 10240);
$data=str_replace(array("\r\n","\n","\r"), '', $data);
$objects = array();
など
がうごきをみてもイマイチ分からないのと

このコードのながれはなんとなくわかるんですが。。
EXPLAINで宣言されたDB名とクエリの抽出をどうされているのがまったくわからないです。。

このクエリで宣言されている
DB名
クエリ
は最終的にどの変数で宣言されているのかを教えていただきたいです。

[coba-coba]

fgets($fp, 10240);
http://php.net/manual/ja/function.fgets.php
→ファイルから1行を読みこむ。10240 - 1 バイト または行末までを読み込む。

$data=str_replace(array("\r\n","\n","\r"), '', $data);
http://php.net/manual/ja/function.str-replace.php
$dataの文字列に対して、array("\r\n","\n","\r")（改行コード）に該当する部分を''（空）に置換して、置換後の文字列を$dataに入れる。

$objects = array();
http://php.net/manual/ja/language.types.object.php
→配列を宣言。後のコードでオブジェクトとして扱っていますが、最近はこれはできません。

---------------------------

多分ですが、

DB名：$results[$cnt]->db
クエリ：$sql_query
クエリタイプ：$results[$cnt]->type

クエリタイプはCheckTOK2SQLtype()から返される値のことです。

[amaguri]

クエリ：$sql_queryとするとこのコードでの
クエリに解析はすぐに終わって
DB名の抽出からの書き起こしがめいんなのでしょうか？

最後のほうの
$sql_query = "";
でなかみをからにしている理由もよくわからず、、です

このコードを読解してDB名とクエリを抽出して何がしたいかというと

別途でしつもんして答えていただいた
クエリの対象のデータベースがDBに登録してあるかの確認と
このクエリが更新系なのか参照系なのかの切り分けをするため

クエリとデータベースをもってきたいという感じです

[coba-coba]

そうですね、このコードではクエリは使わず、CheckTOK2SQLtype()のクエリタイプを使っています。
クエリが入っているはずの$sql_queryは結局何にも使いません。
なので$sql_query = "";とする意味もありません。

もしかしたらCheckTOK2SQLtype()のクエリタイプがamaguriさんのいうクエリなんでしょうか。
クエリタイプでも更新系か参照系か判別することはできますし。

[amaguri]

function CheckTOK2SQLtype($data,$sql_type)
使っているということですかね？
自分の言ってるクエリは
INSERT DROPなどがわかるものを指しています

[amaguri]

$sql_type = CommonComponent::CheckTOK2SQLtype(trim($data), $sql_type);
と宣言していますが
function CheckTOK2SQLtype($data,$sql_type)が動く意味をいまいちわからず

CommonComponentでcommon.phpの中のものを使う宣言対象が
CheckTOK2SQLtype($data,$sql_type)なのに
CheckTOK2SQLtype(trim($data), $sql_type);と
$dataにtrimの宣言をしていて
宣言が別物になってる気がするんですが、、
あくまでもCommonComponentの宣言はCheckTOK2SQLtype()に対してかかっているんでしょうか。。。

[coba-coba]

「クエリ」も「クエリタイプ」もコードでの言い方なので、私もそれに合わせていました。
function CheckTOK2SQLtype($data,$sql_type)で何をしているか分かりますか？
この関数を呼び出したら、"select"や"insert"などの文字列を返してくれます。
amaguriさんが欲しいクエリはこのことですよね。

--------------------------

①CommonComponent::CheckTOK2SQLtype(trim($data), $sql_type);
↓
②function CheckTOK2SQLtype($data,$sql_type)

これは①から②にデータを送り、②で処理を行うということです。
データの受け渡しは、
　①のtrim($data)の値は②の$dataで受け取る
　①の$sql_typeは②の$sql_typeで受け取る
のようになります。

例えば、②function CheckTOK2SQLtype($a,$b)としたら、$aと$bでデータを受け取ることになります。
つまり、
　$a = trim($data);
　$b = $sql_type;
のようなことをしています。

[amaguri]

$dataがEXPLAINファイルを展開して
整列などをして必要なデーターの抽出しているのはイメージできたんですが

$sql_typeや$results[$cnt]->type を持ってきても
もうこれはCheckTOK2SQLtype()によってreturnで書き換えられたコマンドを持ってくるだけにんりますよね？

クエリの判断をTOK_のトークン状態の時に識別しようとしたらどの時に$data?か何かを持ってきたらTOK_トークン状態で持ってこれるでしょうか？

[amaguri]

つまり
CommonComponent::CheckTOK2SQLtype(trim($data), $sql_type);
↓
function CheckTOK2SQLtype($data,$sql_type)
にデータを送る時の引数が$data、$sql_typeなのを

CommonComponent::CheckTOK2SQLtype(trim($data), $sql_type);
の時に$dataのデータをtrimして文字列の先頭および末尾にあるホワイトスペースを取り除いた$dataを渡しているといるということであっていますでしょうか？

[coba-coba]

//クエリ
if ( eregi("^explain ",$data) ){
$sql_query=substr($data,8);
//$this->log("QUERY=[$sql_query]",LOG_DEBUG);
$sql_query_no++;
}
このクエリというのが元データを見ていないので不明ですが、このクエリってなんなんでしょうね。

> クエリの判断をTOK_のトークン状態の時に識別しようとしたらどの時に$data?か何かを持ってきたらTOK_トークン状態で持ってこれるでしょうか？

$sql_type = CommonComponent::CheckTOK2SQLtype(trim($data), $sql_type);
ここでの$dataです。

[coba-coba]

> CommonComponent::CheckTOK2SQLtype(trim($data), $sql_type);
の時に$dataのデータをtrimして文字列の先頭および末尾にあるホワイトスペースを取り除いた$dataを渡しているといるということであっていますでしょうか？

その認識で合っています。

[amaguri]

なるほどなんとなく理解できていたのが繋がってきました、、
$objects = array();の
if (count($objects) >= 2)や(count($objects) == 1)の数値が array()の中？の１や２や０も何処で決まっているのかがわからないです。。

[amaguri]

編集

[coba-coba]

コードのコメントに、
// ・オブジェクト部には『データベース名行 + テーブル名行』または『テーブル名行』のパターンがある
とありますよね。

『データベース名行 + テーブル名行』の場合は「データベース名行」と「テーブル名行」の2つ、『テーブル名行』の場合は「テーブル名行」が1つをオブジェクトから取得できるということだと思います。

[amaguri]

なるほど、、
これはDBとTBのオブジェクトだったんですね。。
これ解読して疑問が浮かんだんですが
コマンドでDBの選択するとき
複数選択できますが
たとえばクエリが対象しているDBが
二つ以上あるときでもDBがちゃんと２つとも抽出されて表示されていますがこれはどうやって抽出して表示してるのかが疑問です。。

[amaguri]

while (!feof($fp)) {
　if (eregi("^STAGE DEPENDENCIES", $data)) { break; }

}
でループしているからひたすら叩いて表示するものを何度も持ってきているんでしょうか？

[coba-coba]

下記のコメントとコードから、データベース名はデータがある限り全て取得しているように思えます。

// ・データベース名及びテーブル名（以降 オブジェクト部）は次のターゲットトークンの次の行以降にインデントされて定義されている
// → TOK_TABNAME、TOK_TABTYPE、TOK_ALTERTABLE、TOK_TABTYPE、TOK_SHOW

while (!feof($fp)) {
if (eregi("^TOK_TABNAME|^TOK_TABTYPE|^TOK_ALTERTABLE|^TOK_TABTYPE|^TOK_SHOW|^TOK_CREATEDATABASE|^TOK_DROPDATABASE", trim($data))) { break; }
if ($tok_indent >= (strlen($data) - strlen(ltrim($data)))) { break; }

if (!eregi("^TOK_|\.", trim($data))) {
$objects[] = trim($data);
}
$data = fgets($fp, 10240);
$data=str_replace(array("\r\n","\n","\r"), '', $data);
}

[amaguri]

なるほど、、
これが
$results[$cnt]->db
や
$results[$cnt]->type
に送信されると思うのですが

この中に複数DBやTBの指定があった場合は複数のデータが

$results[$cnt]->db
や
$results[$cnt]->type
に入っているということなのでしょうか？

[coba-coba]

そうですね。$resultsに必要なデータが複数入っています。

[amaguri]

処理が全て終わった
return $results;の中に入っているということであっていますでしょうか？

なので
この$results;を取得してそこから$results[$cnt]->dbと$results[$cnt]->typeを抽出してあげないと、
if文上の$results[$cnt]->dbと$results[$cnt]->typeを取得してもその時のループの値でしかないため複数データは入っていないという認識でよろしいでしょうか？
それとも$results[$cnt]->dbを宣言してあげていれば宣言されたクエリの対象のDB名が全て取得できるのでしょうか？

[coba-coba]

> 処理が全て終わったreturn $results;の中に入っているということであっていますでしょうか？

その通りです。

> この$results;を取得してそこから$results[$cnt]->dbと$results[$cnt]->typeを抽出してあげないと、
if文上の$results[$cnt]->dbと$results[$cnt]->typeを取得してもその時のループの値でしかないため複数データは入っていないという認識でよろしいでしょうか？

これもその通りです。

[amaguri]

なるほどありがとうございます
おかげさまで解読という点での謎は解けました。

ここから
INSERT DROPなどの宣言された時更新先のDBを判断するという解析をしなければいけないので
おそらくこのコードでは
TOK_ほにゃらら　の取得はできますが

TOK_更新系　の場合
TOK_更新系　DB名
のDBをおそらくEXPLAINファイルを解析して抽出するに移行しますので一度closeとして
新たに質問させていただきたいと思います。

Answer 2

丸投げしても誰もまともに答えてくれませんよ。
分かる部分もあるはずなので、分からない部分を聞いた方がいいと思います。

これはファイルを読み込んで必要なデータを抽出するコードですね。
SQLのリストを読み込んでいるのでしょうか。

結構古いコードかもしれません。
eregi()はもう非推奨ですし、$objects = array();をオブジェクトとして扱っていますし。

Comments

[amaguri]

お返事ありがとうございます。

次から意識して質問したいと思います。

[coba-coba]

解読は進んでますか？

[amaguri]

少しずつ読み進めていますが
クエリ文、DBの抽出はわかるんですが
if (eregi("^ABSTRACT SYNTAX TREE", $data) and !feof($fp)) {
以下は表示方法のだしわけなのではないかというところまではできました