Q&A
ベストアンサー
///////////////////////////////////////////////////////////////////
// Job実行状況の取得
///////////////////////////////////////////////////////////////////
function GetJobInfo($hql_file,$out_file,$fin_file,$pid_file) {
$err_flg=0;
$total_p=1;
$stage_p=0;
$map_p=0;
$reduce_p=0;
$stage_cnt=0;
$stage_max=0;
$query_cnt=0;
$query_max=0;
$total_cnt=0;
$total_max=0;
$file_cnt=0;
$file_max=0;
//子プロセス処理中チェック
if ( file_exists($pid_file) ){
//子プロセスのPID取得
$fp=fopen($pid_file,"r");
$pid = fgets($fp, 1024);
fclose($fp);
$pid=str_replace(array("\r\n","\n","\r"), '', $pid);
//子プロセス異常終了チェック(PIDファイルのpidが存在するかチェック)
if ( $pid != "start" ){
if ( !posix_kill($pid,0) ){
unlink($pid_file);
return array(100,$total_p,$stage_p,$map_p,$reduce_p);
}
}
}
//実行数(クエリ数)取得
$datas="";
if ( !($fp=fopen($hql_file,"r")) ){
return array(100,$total_p,$stage_p,$map_p,$reduce_p);
}
while(!feof($fp)){
$data = fgets($fp, 1024);
$data=rtrim($data);
$datas = $datas . $data;
}
fclose($fp);
$querys=preg_split("/;/",$datas);
for ( $i=0; $i<count($querys); $i++){
if ( $querys[$i] != "" ){ $query_max++; }
}
//hiveログより情報取得
if ( !($fp=fopen($out_file,"r")) ){
return array(100,$total_p,$stage_p,$map_p,$reduce_p);
}
while(!feof($fp)){
$data = fgets($fp, 1024);
$data=rtrim($data);
if ( ereg("^Total MapReduce jobs",$data) ){
$arr=preg_split("/=/",$data);
$stage_max=ereg_replace(" ","",$arr[1]);
$stage_cnt=0;
}
if ( ereg("^Ended Job =",$data) ){
$stage_cnt++;
}
if ( ereg("map =",$data) and eregi("reduce =",$data) ){
$arr=preg_split("/[ ,%]+/",$data);
$map_p=$arr[6];
$reduce_p=$arr[9];
}
if ( ereg("^Time taken:",$data) ){
$query_cnt++;
}
if ( ereg("^FAILED:",$data) ){
$err_flg=100;
}
}
fclose($fp);
//ログファイルより結果取得
$file_max=OUTPUT_FILE_LIMIT;
if ( file_exists($fin_file) ){
if ( !($fp=fopen($fin_file,"r")) ){
return array(100,$total_p,$stage_p,$map_p,$reduce_p);
}
while(!feof($fp)){
$data = fgets($fp, 1024);
if ( eregi("^OUT:",$data) ){ $file_cnt++; }
if ( eregi("^WAR:",$data) ){ $err_flg++; }
if ( eregi("^ERR:",$data) ){ $err_flg = $err_flg + 100; }
}
fclose($fp);
}
//合計の進捗率
if ( $query_max != 0 ){
$total_p=floor((50 / $query_max ) * $query_cnt );
}
if ( $file_max != 0 ){
$total_p=$total_p + floor( (50 / $file_max ) * $file_cnt );
}
if ( $total_p < 0 ){ $total_p=0; }
if ( $total_p > 100 ){ $total_p=100; }
//stageの進捗率
if ( $stage_max != 0 ){
$stage_p=floor( (100 / $stage_max) * $stage_cnt );
}
if ( $stage_p < 0 ){ $stage_p=0; }
if ( $stage_p > 100 ){ $stage_p=100; }
//$this->log("query=$query_cnt/$query_max stage=$stage_cnt/$stage_max file=$file_cnt/$file_max ($total_p,$stage_p,$map_p,$reduce_p)",LOG_DEBUG);
return array($err_flg,$total_p,$stage_p,$map_p,$reduce_p);
}
///////////////////////////////////////////////////////////////////
// JobIDの取得
///////////////////////////////////////////////////////////////////
function GetJobId($out_file) {
$jobid="";
//ログファイルより情報取得
if ( !($fp=fopen($out_file,"r")) ){
return "";
}
while(!feof($fp)){
$data = fgets($fp, 1024);
$data=rtrim($data);
if (preg_match('/application_\d{13}_\d{4,}/', $data, $arr)) {
$jobid=$arr[0];
}
}
fclose($fp);
return $jobid;
}
///////////////////////////////////////////////////////////////////
//クエリ実行結果を更新
///////////////////////////////////////////////////////////////////
function UpdateRunhistsResult($u_rid,$u_res){
$this->log("UpdateRunhistsResult($u_rid,$u_res)",LOG_DEBUG);
//実行履歴検索
$qwk=$this->Runhists->find('all', array('conditions' => "rid='$u_rid'"));
if ( count($qwk) == 0 ){
return 1;
}
//処理結果更新
$runlog['Runhists']['id'] = $qwk[0]['Runhists']['id'];
$runlog['Runhists']['rsts'] = $u_res;
$runlog['Runhists']['findate'] = date('Y-m-d H:i:s');
if ( !($this->Runhists->save($runlog, array('id','rsts','findate') )) ){
return 2;
}
return 0;
}
///////////////////////////////////////////////////////////////////
//環境名
///////////////////////////////////////////////////////////////////
function GetSubTitle(){
//ファイル名指定の場合
if ( eregi("^FILE:",APP_TITLE_MSG) ){
$sub_title="";
$sub_title_file=substr(APP_TITLE_MSG,5);
if ( !file_exists($sub_title_file) ){ return ""; }
if ( !($fp=fopen($sub_title_file,"r")) ){
return "";
}
while(!feof($fp)){
$sub_title .= fgets($fp, 1024);
}
fclose($fp);
return $sub_title;
}
return APP_TITLE_MSG;
}
///////////////////////////////////////////////////////////////////
//IP範囲チェック
///////////////////////////////////////////////////////////////////
function IpCheck(){
$access_ip = CommonComponent::getAccessIp();
$sql = "SELECT start_ip, last_ip FROM allow_ips AS AllowIps WHERE INET_ATON(?) between INET_ATON(start_ip) and INET_ATON(last_ip)";
$ips = $this->AllowIps->query($sql,array($this->$access_ip));
return $ips;
}
///////////////////////////////////////////////////////////////////
//フラグIP範囲チェック
///////////////////////////////////////////////////////////////////
function FigIpCheck(){
$access_ip = CommonComponent::getAccessIp();
$sql = "SELECT start_ip, last_ip, full_access_flg FROM allow_ips AS AllowIps WHERE INET_ATON(?) between INET_ATON(start_ip) and INET_ATON(last_ip)";
$ips = $this->AllowIps->query($sql,array($this->$access_ip));
return $ips;
}
///////////////////////////////////////////////////////////////////
//識別します
///////////////////////////////////////////////////////////////////
function identification(){
$results=CommonComponent::CheckExplainParce($u_userid,$u_id);
foreach ($results as $result) {
//$results[$cnt]->typeを抜き出す
$u_type=$result->type;
//更新系の場合
if( eregi($u_type,"^insert|^create table|^create database|^drop database|^drop table")){
//対象のDBを$results[$cnt]->dbを$resultsから抽出
$u_db=$result->db;
//対象のDBが個人情報DBか識別
$dbcheck = $this->PrivateHiveDb->find('count', array(
'conditions' => array('PrivateHiveDb.hive_database' => $u_db))
);
//対象のDBが個人情報系の場合
if($dbcheck){
// 接続元IP情報
$ips=CommonComponent::IpCheck();
if (empty($ips)) {
return 1;
}
}else{
//対象のDBが非個人情報の場合
// 接続元IP情報
$ips=CommonComponent::FlgIpCheck();
foreach ($ips as $row) {
if ($row['full_access_flg'] == '0') {
//0の場合(権限許可IPの場合)
return 1;
}
}
}
}else{
//参照系の場合
//対象のDBを$results[$cnt]->dbを$resultsから抽出
$u_db=$result->db;
//対象のDBが個人情報DBか識別
$dbcheck = $this->PrivateHiveDb->find('count',array(
'conditions' => array('PrivateHiveDb.hive_database' => $u_db))
);
//対象のDBが更新系の場合
if($dbcheck){
// 接続元IP情報
$ips=CommonComponent::IpCheck();
if (empty($ips)) {
return 1;
}
}
}
}
return 0;
}
}
?>
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2016/07/28 00:54
2016/07/28 11:15