PHP/JavascriptでのJSONデータ圧縮について

Question

前提・実現したいこと

PHP/Javascriptの処理で大量データ（JSON）を使用して処理する実装をしています。
大量データに関しては日々ためていて、毎回、
DBへアクセスして処理してとなるとかなりパフォーマンス（Webでの閲覧）に影響があります。
そこで、日ごとのデータを格納するテーブルを用意し、毎日の夜に集計しDBへ格納する処理を入れることにしました。
しかし、データ大量の場合に下記のエラーが発生し、Insertできなくなりました。
（容量オーバーのようです。）

DBはMySQLを使用しています。
PHPバージョンは、5.6.22 です。

発生している問題・エラーメッセージ

エラーメッセージ
Fatal Error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 10644485 bytes)

試したこと

そこで、DBへ格納するデータを圧縮するなりして格納を試みているのですが、
いい方法が見つからず時間だけが過ぎてしまうので、お力を貸していただけないかと思っております。

Answer 1

Allowed memory size of 134217728 bytes exhausted

容量というよりメモリです。
ただ　134217728 bytes ＝　134.2 MB　なのでそもそものメモリが少なすぎるようにも思います。
たぶんmemory_limit = 128Mに設定されているんじゃないかなと。

確かに変数に大きなデータを確保するとメモリもたくさん使いますので、
きちんと解放（unset()）してあげるなどである程度対策は可能かと思いますが、昨今ではさすがに少なすぎるようにも思うので、
memory_limitを増やすこともご検討ください。

Comments

[entaro12345]

ありがとうございます！
試してみます。

[m.ts10806]

あと下記もできるなら7.1以上に・・・
＞PHPバージョンは、5.6.22

[entaro12345]

おっしゃる通り、PHPのバージョンも上げないといけないですよね・・。
他のシステムとの関連もありますが、早急に対応します。

[m.ts10806]

はい。おそらくご存知とは思いますが、余程レガシーな社内システムをメンテナンスするのでなければ
PHP7への移行は必須（そして急務）とは思います。

[mikkame]

無闇にremiとかからphpを入れるより、最初から入っているphpを使う方がセキュアなので、無理に7.1以上に上げる必要はないかと思います
（特にcentosなら）
（でも5.6は微妙な気がする）

centos7のphp5.4なら2024年までは使えるはずです。

Answer 2

状況が許せばjsonのような構造をもったオブジェクト的なものではなく
csvのようにデータの羅列で管理したほうがいちいちすべてを
展開しなくてもよいので軽く済ませることができると思います
api側がjsonのみ対応であれば仕方ないですが・・・

Comments

[entaro12345]

ありがとうございます。
今後、臨機応変に使い分けるようにします。
今回は、APIがjsonのみのため、このままいくしかないです・・。