PHPでYoutubeの動画を全てインデックスするベストプラクティス

Question

MYSQLにyoutubeの動画情報をインデックスしていきたいと思っています。

普通にやればsimple html dom parserあたりで関連動画欄や検索結果ページのhrefを抜き出してループすれば不可能ではないと思いますが
量が膨大であることと、膨大ゆえに同じ動画URLが出てくる頻度が高くリソースが効率的に使われない、また全てのページにたどり着ける保証もありません。

自分の知る範囲では上記の通りhrefを抜き出し続けるしかないのですが、ここにおられる猛者の方たちならもっと便利な方法を知っているかと思い、質問させていただきます。

googlebotも同じ苦労してるのかもしれないですね。

なお、サーバーはレンタルサーバー、coreserverです。Goutteも無理かと思います。

宜しくお願いいたします。

Answer 1

目的に合致しているかわかりませんが、YouTubeはAPIを公開しているので、それを使ったらどうでしょうか。

ちなみに、この記事によれば、YouTubeには18億3000万から21億5000万の動画がアップされているらしいです。もしかするとAPIでは制限とかで取得するのに膨大な時間がかかるかもしれませんね。ただし、スクレイピングなどではもっと制限がきついかもしれないです。同じIPアドレスから何度もリクエストが来るとBANされますからね...。

Comments

[takeitcolors]

ありがとうございます。APIを考えます。