質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.53%

  • PHP

    20304questions

    PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

  • WordPress

    7189questions

    WordPressは、PHPで開発されているオープンソースのブログソフトウェアです。データベース管理システムにはMySQLを用いています。フリーのブログソフトウェアの中では最も人気が高く、PHPとHTMLを使って簡単にテンプレートをカスタマイズすることができます。

バッチでWP_Queryをループ内で複数回使うときにメモリが足りなくなる

解決済

回答 3

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 171

threeaster

score 3

wordpressのバッチ処理で、google analyticsからURLを取得して、そのURLからpost_idを取得し、それとgoogle analyticsから取得したビュー数をセットでdbに保存するということをしたいです。
そこで、URLからid記事名部分を取得してWP_Queryでpost_idを取得して……とやろうとしたのですが、ページ数が多いためおそらくメモリ不足で落ちてしまいます。
行ごとにメモリ使用量を出すことにより、WP_Queryを実行するごとにメモリ使用量が増えていくのが原因ということがわかりましたが、メモリ使用量を増やさない方法、メモリを開放する方法がわかりません。どのようにすればメモリの使用量を抑えられるのかを教えていただけないでしょうか。

<?php
require_once( __DIR__.'/../DocumentRoot/wp-load.php' );
for($i = 1; $i < 100000; $i++) {
  var_dump(memory_get_usage(true));
  $query = new WP_Query(["name" => $i]);
}


思い切り単純化すると、上のコードで、出力されるメモリ量がどんどん増えていってしまいます。

(6/28追記)
これでやっている処理は以下のようになります。

require_once( __DIR__.'/../DocumentRoot/wp-load.php' );
// ここにgoogle analytics用のLoaderをincludeするinclude文が入る
$ga = \Loader::get_analytics();
$totalResults = 1000000; // 仮のtotalResults
$page_views = [];
for($i = 1; $i < $totalResults; $i+= 10000) {
  $results = $ga->fetch('2017-01-01', date('Y-m-d'), 'ga:pageviews', ['dimensions' => 'ga:pagePath', 'filters' => 'ga:pagePath=@article', 'sort' => '-ga:pageviews', 'start-index'=>$i, 'max-results' => $request_num]); //google analyticsから2017-01-01から今日までで、articleをurlに含むview数の情報を、view数が大きい方から数えて、$i番目から$request_num件取得する
  $totalResults = $results->totalResults;
  foreach($results->rows as $row){
    //$rowは[url, view数]という配列になっている
    $name = get_name($row[0]); // get_nameは例えば$row[0]がhttp://sample.com/article/170101/のとき、170101を取得する。実際にはurlのフォーマットが違う場合や、ページネーションを無視したりなどがあり、いろいろやっている。
    $query = new WP_Query(["name" => $name]);
    $post_id = $query->post->ID;
    if($page_views[$post_id]){
      $page_views[$post_id] += $row[1];
    }else {
      $page_views[$post_id] = (int)$row[1];
    }
  }
}
var_dump($page_views); // まだ未実装だが最終的にはこれをdbに保存する
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • kei344

    2018/06/27 22:23

    単純化したコードだけでなく、どういった処理をしているのかがわかるコードを提示されたほうが回答を得やすいと思います。

    キャンセル

  • threeaster

    2018/06/28 09:39

    簡易版ですがどういった処理をしているのかがわかるコードを追加しました

    キャンセル

回答 3

checkベストアンサー

0

WP_Queryに 'fields' => 'ids', 'suppress_filters' => true も指定するくらいかなぁ。

【WP_Queryの使い方をPHPコードにまとめた便利なコード・スニペット】
http://notnil-creative.com/blog/archives/1288

【query_posts(), get_posts(), WP_Query()による$wp_queryオブジェクトの違い | hijiriworld Web】
https://hijiriworld.com/web/wp_query/


あとは、スラッグとidを取得するだけならforの前にSQLで取得しておけば良いような。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/06/29 09:15

    forの前にSQLでnameとidをペアをすべて取得して、db接続を一回だけにすることによって解決できたと思います。ありがとうございました。
    ちなみに'fields' => 'ids', 'suppress_filters' => trueをしても特に効果はありませんでした。

    キャンセル

0

全体が分からないので、改善するのかわかりませんが、ループの最後あたりにunset($query); を入れてみたら、状況は変わるのでしょうか?

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/06/28 09:35

    こちら状況は変わりませんでした

    キャンセル

0

PHP レベルのプログラミング言語だと、ループの中でループはしないほうがいいと聞いたことがあるような………ないような(for ならいいのかな?)。あと、URL から Post ID を取得したいのであれば、url_to_postid() というそのまんまな関数が WordPress にあったりします(コスト高いかもしれませんが)。

僕が思いつく限りでは、こんな感じでしょうか。
for と foreach を分けれるなら分けたい気もします

$ga           = \Loader::get_analytics();
$totalResults = 1000000;
$page_views   = [];

for( $i = 1; $i < $totalResults; $i+= 10000 ) {
    $results      = $ga->fetch('2017-01-01', date('Y-m-d'), 'ga:pageviews', ['dimensions' => 'ga:pagePath', 'filters' => 'ga:pagePath=@article', 'sort' => '-ga:pageviews', 'start-index'=>$i, 'max-results' => $request_num]);
    $totalResults = $results->totalResults;

    foreach($results->rows as $row){
        $post_id = url_to_postid($row[0]);

        if($page_views[$post_id]){
            $page_views[$post_id] += $row[1];
        }else {
            $page_views[$post_id] = (int)$row[1];
        }
    }

    unset( $results );
}

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/06/29 09:18

    ありがとうございます。実は、
    $name = get_name($row[0]);
    $query = new WP_Query(["name" => $name]);
    のあたりは、実際にはurl_to_postにapply_filtersをしてやっていたのですが、落ちたのでいろいろやっていたという経緯がありました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.53%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • PHP

    20304questions

    PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

  • WordPress

    7189questions

    WordPressは、PHPで開発されているオープンソースのブログソフトウェアです。データベース管理システムにはMySQLを用いています。フリーのブログソフトウェアの中では最も人気が高く、PHPとHTMLを使って簡単にテンプレートをカスタマイズすることができます。