Q&A
うわ〜〜〜〜、よく使い方知らなかったんですけど…、こんなに手伝っていただいて自分をベストアンサーにしてしまった(；´Д｀)(；´Д｀)(；´Д｀)
本当に失礼しました
すみません、ヒントを教えて下さい。
素人で言葉足らずなのでお手数おかけできません。
PHPでDBから大きめのデータを引き出してきて、表形式で表示した後、ユーザがブラウザから表の値をいじりそれをエクセルでダウンロードするというコードを書いてます。
さて質問ですが、一度目の読込、編集し、ダウンロードする部分は問題ないのですが、ダウンロード前に再度DBからデータを読み込んで、編集した値をPOSTで取り込んでつき合わせて、Excelの出力に生成しなおしているのですが、データ量が多くて遅い…
そこで、これらを効率良く行う手段がわかればヒントでいいので教えて下さい。現状では
１．全ての表をInput形式で表示し、編集後すべての値をPOSTしてDBの再読み込みはしない(現段階では必要な物のみINPUT出力、その他のデータはDBから再読み込み→突き合わせ→Excel)
２．何かしらのキャッシュを利用する。Cookie? Session? SQLiteとか？ 素人なんで調べてみないとわかりません
という形でレスポンスが向上できるか検討していこうと考えていますが、それ違うだろ！みたいなツッコミよろしくお願いします。
★みなさん、懇切丁寧にありがとうございます★
ちょっとレスポンスまで数日くださいませ(--;)ホント質問しといて申し訳ありません
★★★
すみません、本当に手が回らなくて返信できない状態です。必ず返信いたします。
みなさん、本当に申し訳ありませんm( ;)m m( ;)m m( _;)m
回答5件
0
ベストアンサー
・アンケートの回答テーブルにユニークなIDを振る-A
・アンケートのIDに対応した修正分のデータを保存するテーブルを別に作る。-B
・ブラウザから修正したものは一度にPOSTするのではなく、修正される都度Ajaxでサーバに送ってBに保存する。changeやblurのイベントで送信するか、１レコードごとボタンをクリックして明示的に送信。
・ダウンロードする際はABのテーブルの情報をマージしながらブラウザに書き出し。
とか、いかがでしょう？
投稿2015/07/27 08:56
総合スコア162
0
AWSを利用していましたが、AWSに割り当てられたメモリが非常に小さかったのが原因でした。
本当にご迷惑おかけしました。
と、同時に御返事遅くなって申し訳ございませんでした。
投稿2015/10/13 06:49
総合スコア178
0
前提として、何が遅いかは計測しているでしょうか？
もし計測していなければ、どこを改善すべきか分からないので、
ログを入れるなどして各処理の所要時間を測ってみてください。
(DBからの読み込み、突き合わせ、Excelへの出力ぐらいに分ければ良いと思います。)
所要時間が分かっていれば、教えていただけないでしょうか。
投稿2015/07/27 08:23
総合スコア1546
すみません、あえてログを吐いて計測迄していませんが、間違いなくDBからの読み出しに時間がかかっています。所要時間は３０秒くらいでしょうか。
付随してHTML表示をさせると遅くはなりますが、これは回線速度により…で、あきらめている部分があります。なので二度のDBの読込を避ける事ができれば…と思ってます
ありがとうございます。
そうすると、突き合わせやExcelへの出力は関係ないのですね。
単純にセッションに保存することはできないのでしょうか？
I/Oは発生しそうですが。
ごめんなさい、素人でしてまだ確認ができていませんが、これだけ大きなデータ(DBからの呼び出しに時間がかかるもの)をセッションに保存していいのか？（問題がおこらないのか？）というツッコミも期待して質問させていただきました。
参考にならないかもしてませんが、Excelファイルにして５MB近くです
PHPのセッションに詳しくないのですが、
ディスクに保存されるもののようなので、
1) ユーザー数×データサイズがディスク容量を圧迫しないか
2) 単位時間あたりのアクセス数×データサイズのI/Oが発生して問題ないか
がクリアされていれば、
良いのでは無いでしょうか？
それと使い終わったら消しておいた方が良いですね。
そうなんですか？？？？ それは知りませんでした。だとするとJavascriptがわからない私には一番現実味があるかもしれません。ありがとうございました
http://php.net/manual/ja/session.configuration.php
によると、
session.save_handlerにfilesが指定されていれば(filesはデフォルト値です)、
session.save_pathに保存される様です。
1)2)に挙げた内容は、大丈夫そうですか？
どのくらいの想定でしょうか？
また、30秒かかるクエリについては、
実行計画を取得してみることをおすすめします。
参考URL:
http://nippondanji.blogspot.jp/2009/03/mysqlexplain.html
また、セッションはmemcachedにも保存できる様ですので、
速度的に問題があれば、そちらを検討しても良いと思います。
その場合でも、2)に書いた単位時間あたりのアクセス数×データサイズで、
メモリ内に収まるかの計算は必要です。
ありがとうございます。
1)2)に関しては範疇外でしてちょっと調べないとわからないです(そもそも調べられるか？？(^o^;))
実は稼働してみないとコストはわかりませんが、データ容量は５MBですがユーザー数はしれてます。
それ以外のご返答遅くなると思います、もうしわけありません。
大変お返事遅れて申し訳ありません、別件で時間が取られ手付かずになってしましました。今回はまさにコードの問題というより、サーバーのメモリが問題であることが発覚いたしました。メモリを増強することで解決いたしました。
お返事大変遅くなって申し訳ございませんでしたが、とても勉強になりました。
0
ブラウザや環境によってpostできる数に限りあるので、まともに全部値を投げるのはデータ量によっては、あまり好ましくないかもしれないですね。
思いつきなんで穴だらけですが、例えば
①DBから読み込んだ時点でダウンロード用のファイルに書き出す
②ユーザーが任意の項目を修正したら、変更が加えられたそのイベントを検知して、非同期で①で保存したファイルを修正
③ダウンロードするときにはそのファイルをまんダウンロード
などでしょうか
投稿2015/07/27 07:49
総合スコア62
補足:②の非同期のブログラムは修正が加えられたデータをピンポイントで修正するだけのものです
ありがとうございます！
なるほど、tenrakuさん同様、非同期処理ですね(^o^;)技術的についていけるか…
これはCSVじゃなくて、SQLiteみたいのでもアリということでしょうかね？
確かに、データ量が膨大なら、ファイルを都度読み込んで、配列に展開して修正箇所だけ直したものを再度ファイルに書き出すってやると、メモリ食ってしまいそうだから、本体に影響の出ない一時テーブル作ってそこに対して、データを都度更新して、一括出力がいいかもしれないですね。
ちなみに、テーブルの内容を一括で出したい場合、selectするよりダンプでcsv出力とかするほうが高速かもしれないんで、システムコマンドの使用も含め検証してもらえたらと思います
へ〜〜〜〜〜！そうなんですね。
だいぶイメージと食い違いましたが、たしかにベタで出すわけだから平文の方が早いというのは納得です
0
１．全ての表をInput形式で表示し、編集後すべての値をPOSTしてDBの再読み込みはしない(現段階では必要な物のみINPUT出力、その他のデータはDBから再読み込み→突き合わせ→Excel)
突き合せする分軽くなるだろうとは思いますが、複数人が同時に編集してたりすると不整合起きませんか？
２．何かしらのキャッシュを利用する。Cookie? Session? SQLiteとか？ 素人なんで調べてみないとわかりません
これも複数人が同時に編集してたりすると不整合起きませんか？
思いつくネタとしては
１．保存する処理とExcelファイルを取得する処理を別のボタンで起動すると保存処理とExcel出力処理で分かれるので多少は軽く感じるようにはなるかも
２．突き合せの処理の見直し。Excel側で突き合せようとすると処理が重い。DB側（SQL等）に任せるように変更する
といったところでしょうか。
投稿2015/07/27 07:22
総合スコア148
ありがとうございます。現状としては複数人からの編集は無いのでその部分は大丈夫です。
ちょっと、わかりづらくて申し訳ありません
現行では、保存作業はなく単純にExcelファイルへの書き出しだけです。
例えば、膨大なアンケートをHTML上で表示させる（現在では一覧表示にこだわってます）。そこでユーザーがチェックボックス等をいじり、このユーザーの編集部分のみをPOSTして、アンケートの設問部分をあらためてDBから呼び出して、つけ合わせてExeclの保存処理に投げる…といった感じでしょうか。
HTMLに出力するプロセスと、ユーザがsubmitを押してからのプロセスが別物なので、データを保持できない(HTMLのINPUTの値は保持される)ので、再度読み込まなければならないこの無駄が解決できないかと考えてます。
--引用--
HTMLに出力するプロセスと、ユーザがsubmitを押してからのプロセスが別物なので、データを保持できない(HTMLのINPUTの値は保持される)ので、再度読み込まなければならないこの無駄が解決できないかと考えてます。
--引用ここまで--
この点はAjaxで非同期でInputの値のChangeイベントで通信といったことをすれば解決できるとは思います。
ただ、軽くなるかと言われたらあんまり。むしろ重くなるかも。という気はします
（通信量の増大によるレスポンス悪化）
そっか〜〜〜。実現というところでは出来ないのかもしれないですけどそういう発想はありませんでした、目からうろこ。
ありがとうございました。
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2015/07/27 10:00
2015/07/27 10:05 編集
2015/07/27 10:20 編集
2015/07/27 13:17 編集
2015/07/27 13:22
2015/07/27 16:33
2015/07/28 00:08
2015/07/28 02:41 編集
2015/07/28 07:33
2015/07/30 09:57
2015/07/30 10:43
2015/10/13 06:48