Q&A
ご回答ありがとうございます。
＞移し替えるというタイミングについてエラー考慮すると複雑になりそう
はい！おっしゃる通りここで躓いてしまいました(^^A
＞比較のためにインデックスを作成するなら、どの道消費する資源
なるほど、そういうものなのですね！勉強になりました！
複数のページ（1,000URL程。URLの変更や数の増減も有）をクロールし、そのページ1つ1つのtitleが変更されたかどうかを知りたいと思っています。
この場合、データベース(MySQL5.7)にどのようなテーブルを作れば良いでしょうか？
仕組みとしては、前回のクロール結果と直近のクロール結果を比較するわけなので、データを登録するためのテーブルを2つ作れば良いかと考えました。
具体的には以下です。
▼テーブル1
ページURL VARCHAR(2083) 主キー
ページタイトル VARCHA(100)
日時 TIMESTAMP
▼テーブル2
ページURL VARCHAR(2083) 主キー
ページタイトル VARCHA(100)
日時 TIMESTAMP
クロールの度、古い方のテーブルに書き込み、もう一方と比較。titleの変更を見る、というやり方です。
ただしこれだと、主キーが長すぎて無駄に重くなってしまうと思います。
何かいい方法はないものでしょうか？
回答3件
0
ベストアンサー
ただしこれだと、主キーが長すぎて無駄に重くなってしまうと思います。
具体的に何を懸念されているかわかりません。
- 何が重くなると思われているのか。
- なぜ重くなると駄目なのか。
おそらくですがクローラーの場合、
DBへのアクセスよりHTTPなどネットワークのほうを懸念されたほうがいいと思います。
リアルタイムにずっと眺めているモノでもないでしょうし、多少遅くても問題ないかと。
またURLの変更された場合にテーブル１とテーブル２に主キーが違うので、
タイトルの変更を見れなくないですか？
２つのテーブルに分ける必要性がありますか。
個人的には、１つのテーブルに前回と今回のフィールド持つかたちで、例えば。
| カラム名 | 型 | 備考 |
|---|---|---|
| ID | int | PK、サロゲートキー |
| ページID | int | 比較したいページ毎のID |
| 前回ページURL | text | |
| 前回ページタイトル | varchar | |
| 前回クロール日時 | timestamp | |
| 今回ページURL | text | |
| 今回ページタイトル | varchar | |
| 今回クロール日時 | timestamp | |
| 差分有無 | bool | (前回ページタイトル!=前回ページタイトル) |
投稿2018/01/22 05:20
総合スコア1400
0
前回の結果と比較するということなので、一つのテーブルで行うなら、lag()等の分析関数に相当する問合せを行うことになります。
MySQLで分析関数を模倣3（後編）
ただ、コストが高いので、別テーブルにするという案も良いかとは思いますが、移し替えるというタイミングについてエラー考慮すると複雑になりそうな気がします。
実行ログのように、一つのテーブルにクロールの結果を書き込むようにしたほうが良いかと思います。
主キーが長すぎて無駄に重くなってしまうと思います。
主キー自体は連番などにしたほうが良いかと思いますが、比較のためにインデックスを作成するなら、どの道消費する資源です。
投稿2018/01/22 01:38
総合スコア25430
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/01/22 12:27