Q&A
突き詰めればどっちもファイル
知りたいこと
WordPressのキャッシュについて、取得と保存の速度、そして管理のしやすさを中心に、適切な保存先をしりたいです。
###保存先の選択肢
スクレイピング（許可されたサイトからです）をするときに、相手のサーバーに迷惑がかからないように、１日だけjsonのデータをキャッシュしておこうと考えています。
その保存先ですが、どちらが適切なのでしょうか？
（1）ファイルを書きだす方法
（2）データベースに新しくテーブルを作る方法
###ソースコード例
（1）ファイルを書きだす方法
php
1$site = 'スクレイピング先のサイト名'; 2$word = '検索ワード'; 3$data = 'スクレイピングの結果'; 4$file = get_template_directory() .'/'. $site .'/log_' .$word. '.txt'; 5$result = file_put_contents($file, $data, FILE_APPEND);
（2）データベースに新しくテーブルを作る方法
php
1$result = $wpdb->query( $wpdb->prepare( 2 "INSERT INTO $wpdb->rsv_timetable 3 ( site, word, data ) 4 VALUES ( %s, %s, %s )", 5 $site, $word, $data 6) );
###補足情報
・もっと良い方法などあればそちらも知りたいです。
・数万件以上を考えています。
回答4件
0
ベストアンサー
数万件のデータというのがそのまま数万個のファイルということになるなら
それはそれでちょっとヤバそうなので
ZipArchiveを使うという選択肢も提案しておきますね
投稿2020/01/05 13:10
総合スコア7804
なるほど、こちらも知りませんでした。たしかに（1）の場合ですと圧縮は重要ですね。どうもありがとうございます。参考にさせて頂きます。
現状では
（1）ファイル書き出し
（2）データベース
（3）TransientsAPI
という３つの方法で検討しているのですが、KazuhiroHatano様のご見解としてはいかがでしょうか。
個人的には（1）と（3）は、検索ワードの保存で醜くなる【※】という点を問題視しておりまして、その問題がない（2）が手間はかかるものの良いかなと考えているところです。
上記【※】の醜さとはつまり、「今日 天気」という検索結果の保存のためにそれをエンコードした「%E4%BB%8A%E6%97%A5%E3%80%80%E5%A4%A9%E6%B0%97」が必要になるという醜さです。（1）ならファイル名として必要になりますし、（3）なら保存のキーとして必要になるということです。
データがどういう構造でどう使うかによるところ
しかし件数が数万件となるとtarnsientは避けますかね
あれはwp_optionsテーブルに入るので万一DBをパンクさせる事態になると
そのままサイトがストップしてしまうことになりかねないので
・ファイルを選ぶ理由
キャッシュというよりログみたいな性格がつよい
データの順番に意味があり追記でデータが増えていく
過去のデータは基本的に不要だけど一応取っておきたい
データの構造が不規則でRDBに当てはまらない
・データベースを選ぶ理由
データ内をAND/OR検索ができるようにしたいかもしれない
将来各データにステータスや管理者などのカラムを増やしたいかもしれない
データが規則的なツリー構造で正規化の余地がありそう
選択基準はそんな感じですかね
ありがとうございます。そういった理由が素人には大変ありがたいです。
そういえばAND/OR検索がほしいので、やはりデータベースを選ぶように致します。
ご丁寧にありがとうございました。
0
小さいデータでしたらファイル書き出しでもいいのですが、
キャッシュ用途の高速なAPIが用意されていますのでご検討ください。
投稿2020/01/05 10:17
編集2020/01/05 10:53
総合スコア1855
ありがとうございます。そちら大変便利ですね。
キーバリュー型のようですが、たとえば「サイトA」で「今日 天気」と検索した結果をjsonで保存したいとき、
$site = 'siteA';
$word = '%E4%BB%8A%E6%97%A5%E3%80%80%E5%A4%A9%E6%B0%97';
$data = '{ id:1, area:'tokyo', degree:20 }';
set_transient( $site.'_'.$word, $data, 12 * HOUR_IN_SECONDS );
のようにしますか？
「今日 天気」を「$word」のようにエンコードしてキーとしていますが、これを醜く感じます。うまい方法あればもう一歩アドバイス頂けましたらと思いまして。
使い方はそちらで問題ないと思います。
ただキーの方は、それ自体に意味があるのでしたらちょっと思い浮かばなかったです。
よく考えたら（1）のfile_put_contentsでも結局、以下のように醜いことになってしまいますよね。
それぞれ「今日 天気」の検索結果である.jsonと、「明日の天気」の.jsonということになっています。
wp-content
├themes
│├ twenty-nineteen
││├ site_A
│││├ %E4%BB%8A%E6%97%A5%E3%80%80%E5%A4%A9%E6%B0%97.json
││││├ { id:1, area:'tokyo', degree:20 }
│││├ %E6%98%8E%E6%97%A5%E3%81%AE%E5%A4%A9%E6%B0%97.json
││││├ { id:2, area:'tokyo', degree:30 }
││├ site_B
│││├
これに対して（2）の方ではデータベースのキーとして「word」があり、その値に「今日 天気」をそのまま入れることができ、この点で多少すっきりはするのかなとも思っていまして、うーん、難しいです。
キャッシング用途の利便性で考えればTransients APIなんですが、
wordの内容で検索も考えられるのでしたらデータベースも選択肢になり得るかも知れません。
確かにSQL文とか自作テーブルとか面倒ですもんね。もうしばらく悩んでみます。
あなたの回答
tips
プレビュー
