Scrapyでクロールをしているのですが、一度目にクロールしたURLを、二度目のクロールでは避けたいのですが、方法はありますでしょうか?
例えば、毎日同じWebサイトをクロールするとして、昨日あるいはこれまでクロールしたページを再クロールしない方法が知りたいです。
方法をご存知の方は、ご教示いただければ光栄です。
よろしくお願いいたします。
あなたの回答
tips
プレビュー
投稿2015/06/15 07:06
Scrapyでクロールをしているのですが、一度目にクロールしたURLを、二度目のクロールでは避けたいのですが、方法はありますでしょうか?
例えば、毎日同じWebサイトをクロールするとして、昨日あるいはこれまでクロールしたページを再クロールしない方法が知りたいです。
方法をご存知の方は、ご教示いただければ光栄です。
よろしくお願いいたします。
あなたの回答
tips
プレビュー