質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.79%

CRONでページ遷移させることで連続処理がしたい

解決済

回答 2

投稿

  • 評価
  • クリップ 0
  • VIEW 1,718

score 8

前提・実現したいこと

PHPでAPIで取得したデータをデータベースにためていく機能を作っています。
キーワードリストがあり、各キーワード毎にAPIにリクエストしDBに書き込むイメージです。

一度に処理するには時間がかかり、タイムアウトしてしまいますので
ページ遷移(またはリロード)することで各キーワード毎の処理をしたいと考えています。
レンタルサーバー上で動かしていますので、タイムアウト時間を延ばして1回の処理で終わらせるのは難しいと考えています。

困っている点・教えていただきたいこと

ブラウザ上で実行すると想定通りの動きをしますが、
CRONで実行するとページ遷移させることができず、1つ目のキーワードに対する処理で終わってしまいます。

おそらくcronで処理するにあたってヘッダー情報を送ってページ遷移させること自体が
間違っているのだろうと考えていますが、解決策にたどり着けませんでした。

なぜできないかとどうすればできるかを教えていただきたいです。

また、できれば今回行き詰っている方法にはこだわりませんので、
このような連続処理をしたい場合、どうやって実現することが一般的なのかも合わせてご教示いただければ幸いです。

試したこと

lolipopのcronを使って、
1. page1の処理の最後にheader('location: page2.php');exit(); でページ遷移させてみる
2. javascriptで location.href でページ遷移させてみる

また、GoogleAppsScriptでトリガーを使ってUrlFetchApp.fetch(http://~~.php)を実行し上記の1と2のパターンを試してみた。

いずれもブラウザ上ではうまく動作しますが、
cronやGASのurlfetchを使った場合ではページ遷移させられず、1度目の処理で終了してしまった。

該当のソースコード

//共通処理(うまく行ってそうなので割愛させていただきます)
<?php
require_once("common.php");
require_once("functions.php");
 getkeyword(); //キーワードリストからリクエストしたいキーワードを取得
 getApiData(); //APIにリクエスト
 DBwrite(); //DBに接続・書き込み
 updateKwlist(); //キーワードリストに処理完了フラグ・時刻など書き込み


//共通の処理の最後にページ遷移させる方法を試した
//試したこと1
header('location: page2.php');
exit();

//試したこと2
echo '<script type="text/javascript">location.href="page2.php";</script>';

補足情報(言語/FW/ツール等のバージョンなど)

レンタルサーバー:lolipop ライトプラン
PHPバージョン:5.6

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

+2

1回の実行時間に制約があり、1つの処理を実行するために1回の実行では完了できない場合、途中結果を保存し、次回起動時に前回実行時の内容から再開するように実装すればよいかと思います。
現状もpage1でのページのリフレッシュ後の再開処理で同様のことをされているのであれば、それをそのまま使用することでも実現できるかと思います。
この場合、PHPのコード上でheaderの出力等でリフレッシュする必要はなく、cronやGASの次回実行時での処理再開となります。

もし処理の分割方法がpage1、page2、page3と増えていく形であれば、cronでは時間をずらして実行されればよいかと思います。
例えば各処理を1時間ごとに実行するのであれば、page1は0分から、pageは10分から、page3は20分からといった形です。
すぐに次を実行したい、ということですと、そのような場合サーバ上では常にどれかの処理が実行されていることになりますので連続実行とほぼ変わりがなく、共用サーバの性質上、運営会社からの警告等される場合もあるかと思います。
この場合は現在のサーバ上での実行ではなく、VPS等を利用されることで気兼ねなく実行できるようになるかと思います。
サーバ管理が難しいということであれば、マネージドVPS等の利用となるかと思います。

cronやGASでheader出力での処理継続がなぜできないか、についてはscsiさんのご回答にもあるようにこれらはブラウザの動きとは出力結果に対する処理の内容が一致しないからです。

cronではphpコマンドで実行していると推測していますが、phpコマンドでの画面出力をcronはブラウザのように解釈しません。通常はcronでの処理で標準出力があった場合、cron実行者へメールとして送られているものと思います。

GASのfetchは1ページの内容を取得するためのものですので、page1の出力結果を受け取った後、javascriptを解釈しません。

page1の処理の最後にheader('location: page2.php');exit(); でページ遷移させてみる

検証していないので推測になりますが、上記であればfetchがページの遷移を検知してpage2の内容を取得する動きとなり、処理が継続されている可能性もあります。
ただし、GAS自体の実行時間制限により処理を継続して行い続けることは難しいかと思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/10/15 08:26

    詳細な回答ありがとうございました。
    もやもやとしていた複数のポイントを的確に教えていただきすっきりしました。

    キーワードは増減することがあるため、キーワードリストをメンテナンスできるように、
    次の処理ページはphpのプログラム上で動的に決めようとしていました。
    確かに連続実行とほぼ変わらず、あまり良い方法ではなさそうです。

    > 次回実行時に前回実行時の内容から再開するように実装すればよい
     キーワードリストに適当なフラグを付け、
    1つのプログラムの中で次に処理するキーワードの有無を判定してあれば実行するプログラムを、
    短い間隔でcronで実行するようにしてみようと思います。

    また、VPSについてもアドバイスありがとうございます。
    APIのリクエスト制限に対応するsleep時間が長いだけで、
    処理としては軽いものだと思っていましたが、共用サーバーではあまりよくないのですね。
    今後やりたいことや費用面など調べて一度検討してみます。

    ありがとうございました。

    キャンセル

  • 2017/10/15 08:47

    > 短い間隔でcronで実行するようにしてみようと思います。
    1回の実行時間に対して十分大きな間隔であれば杞憂かもしれませんが、場合によっては前回の処理が実行中に次の処理が行われる可能性があります。
    起動中を表すロックファイルなどを作成し、確認することで複数実行を抑止できるかと思います。
    ただし、なんらかの理由で処理が異常終了した場合、この方法ではロックファイルを削除するリカバリ対応を取らないと以後の処理が全くされなくなってしまいます。
    前の処理が動いていないかをプロセスの起動状況等から判断できるようであれば、そのような方法で確認するといったことも考えられるかと思います。

    キャンセル

+1

ブラウザで実行しないならページ遷移出来ないのではないでしょうか?

Lollipopで出来るかは分かりませんが、
私ならSeleniumやfirefoxをサーバにinstallし、ブラウザで実際にアクセスする
または、shellが実行できるならcurlでそのphpのurlに二回アクセスする

ですかね。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/10/15 08:33

    回答ありがとうございます。

    shellはレンタルサーバーのプランをアップグレードすればできそうです。
    どういうものなのか調べてみたいと思います。

    ブラウザでアクセスするという発想はありませんでした!
    今の環境では難しいように見えますが目からうろこでした。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.79%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る