PHPからmysqlの操作をするときにRequest Timeoutが出るのですがサーバーの設定は変更できないのでプログラムで解決したい

Question

下記のようなPHPでinfoテーブルのidと一致するcarrerをcarrerinfoに格納したいと思っているのですがデータの量も多く
$jsonURL = "https://www.jsonURL.xxx.xx/id=".$Id; を繰り返し行う過程で処理に時間がかかり、途中で

Request Timeout
This request takes too long to process, it is timed out by the server. If it should not be timed out, please contact administrator of this web site to increase 'Connection Timeout'.

と表示され処理が中断してしまいます。(Chrome)
サーバーで設定された時間内（120秒）で処理が終わらなかった時に出るもののようでphp.iniで設定出来るようなのですがサーバーのレンタル元に問い合わせたところセキュリティの関係で個人で変更出来ないようにしているので時間内に処理を終えるようにしてください、と言われました。

このphpはcronを使って月一で実行する予定です。

echo $query;としているのは別件で正常動作しなかった原因を探すためだったのですが、これを記述していると$queryが徐々に出力されるからかわからないのですがRequest Timeoutは出ずより多くの処理が行われます。ただそれでも全部行われているようではありません。

carrerinfoテーブルの中にフラグのカラムを作ってのforeachの中の$mysqli->query($query);が完了するたびにそにフラグを立てることで
解消できるかもしれないと思ったのですが、初心者なもので知識がなく、検索に使ったワードでそれらしい情報が得られず、他にもっといい方法などがあればご教示頂ければと思い質問させて頂きました。よろしくお願いいたします。

<?php
set_time_limit(3600);
$mysqli = new mysqli('localhost', 'XXXXXXXX', 'YYYYYYYY', 'XXXXXXXXX');
//接続状況の確認
if (mysqli_connect_errno()) {
    echo "データベース接続失敗" . PHP_EOL;
    echo "errno: " . mysqli_connect_errno() . PHP_EOL;
    echo "error: " . mysqli_connect_error() . PHP_EOL;
    exit();
} else {
    $options['ssl']['verify_peer']=false;
	$options['ssl']['verify_peer_name']=false;
    $getId = "SELECT id,name from info;";
	if ($result = $mysqli->query($getId)) {
		foreach ($result as $row) {
			$Id = $row["id"];
            $name = $row["name"];
            $jsonURL = "https://www.jsonURL.xxx.xx/id=".$Id;    
            $response = file_get_contents($jsonURL, false, stream_context_create($options));
            $pattern = '/"carrer":"(.*?)", "---":"/i';
            preg_match($pattern, $response, $match );
            $carrer = $match[1];
            $query = "INSERT INTO carrerinfo (id,name,carrer) values ('".$Id."','".$name."','".$carrer."') ON DUPLICATE KEY UPDATE name = '".$name."',carrer = '".$carrer."';";
            echo $query;
            $mysqli->query($query);
        }
    }    
}
?>

Answer 1

データ量が多くてinsertが終わらない場合はバルクでインサートするとか
分割して予約しながら処理するなど工夫が必要です
insertはprepareでちゃんとやってくださいね

Comments

[greentail]

ありがとうございます。
質問に不備がありました。
$jsonURL = "https://www.jsonURL.xxx.xx/id=".$Id; を繰り返し行う過程で処理に時間がかかりRequest Timeoutになります。
質問文訂正しました。

[yambejp]

スクレイピングに時間が掛かるなら処理をシェルベースにして
バックグラウンドで回せばいいでしょう

[m.ts10806]

私もバルクインサートに1票。

何回もクエリ発行するのではなく、全ての行を1回のクエリ発行で処理するので圧倒的に早くなると思います（一時的にメモリ食うかもですが）
1回が大きすぎるなら100行毎にバルクインサートにしたりとか分割ですれば良いですしね。

------
失礼。そういうことか。
忘れてください。

ただ、取得先への負荷は問題ないんですかね。短い時間で多くのアクセスをするようですが。

------
それか、都度取得都度インサートじゃなく、
全部取得全部バルクインサート
もしくは取得とインサートをスクリプト分ける。