phpによるリンク切れチェック手法の最適解は？

Question

DB内にあるサイト情報のリンクのチェックを行いたく、質問しています。
リンク切れチェックにはいくつかやり方があると思いますが、最適な方法が判断できません。

ざっと思いつくのは
0. ヘッダーに404が返ってくるものをリンク切れと判断する
0. ヘッダーに200が返ってくるものをリンクが存在していると判断する
0. コンテンツを入手して、title等があるかチェックする

等ですが、問題点もそれぞれ多そうです。。。

需要もありそうなので検索してみたのですが、「最適」と言えそうな解に辿りつけませんでした。

一般的にはどのようなやり方で実現するのでしょうか？

可能であれば考慮点も合わせてご教示いただけると幸いです。

想定している利用環境は
・php 5.6
・フレームワーク codeigniter 3.0
です。

よろしくお願いします。

Answer 1

対象とするサイト次第です．そのサイトがリンク切れのときにどういう動きをするのかをあらかじめ知った上で書くべきでしょう．例えばTwitterは凍結アカウントのページにアクセスしたとき，302リダイレクトにて，200で凍結を示すページに移動するという特異な動きをします．

**「リンク切れ」**という判断基準であれば， Locationは自動で追跡する前提で

1. 404または410ならばリンク切れと自動判断
2. 408または5xxならば再試行により再現性を確認した上で一時的な障害と自動判断
3. それ以外の4xxならばリンク切れとは言えないかもしれないが無効なURLと自動判断
4. 1xx,200以外の2xx，Locationのない3xxならば人間の目で判断 (普通はあり得ない)
5. 200ならば目的とするHTML要素のパースを行い，意図したものが得られなくなっていたら人間の目で判断 （200でもエラーを読み取れるようであれば自動判断させることも可能）

これぐらいでしょうか．

Comments

[退会済みユーザー]

わかり易い回答、ありがとうございます。
漏れのないチェックとなるとやはり多段になりますね。

当初は割りと安易に考えていたので、刺激になりました。
どこまで厳密にやるか（自動化に委ねるか）判断し進めたいと思います。

[mpyw]

5xxは全部再試行したほうが良い気がしたので，もうちょっとシンプルに編集しておきました．

[退会済みユーザー]

ありがとうございます。

Answer 2

ぐぐってみました。

Check if links are broken in php

http status 200のみチェックすれば良いかと思ったんですが、リダイレクトもあったんですね。
おかけさまで自分も勉強になりました。

Comments

[退会済みユーザー]

私も当初200のチェックで終わらせるつもりだったのですが、その他の考慮ポイントがおもったより多くあったため、みなさんどのようなチェックを推奨するのか気になり投稿しました。
参考サイトの紹介、ありがとうございました。