[Python]ScrapyのIgnoringについて

Question

PythonのフレームワークのScrapyを使ってWebクローラーを試しています。

クロールして、各URLをJSONで保存しようとしているのですが、DEBUG: Ignoring link (depth > 5)と表示される箇所があり、そこのURLが取得できません。結構な数のデータが取得できずに困っています。

これはどういうエラーなのでしょうか？
また対処法などございましたら、ご教示いただけると光栄です。

よろしくお願いします。

Answer 1

Scrapyを使ったことはないですが、クローラを作ったことがあるので推測ですが回答します。

（depth > 5）とあるので、リンクを辿っていって深さが5を超えたものはIgnoring（無視）
するようになっているのではないでしょうか？
例としては、以下のようなリンクが無視されるかと思います。

mainlink > sublink1 > sublink2 > sublink3 > sublink4 > sublink5 > これ移行無視

Scrapyには以下の設定があるようです。

---

ファイル名：settings.py

設定値：DEPTH_LIMIT
意味：クロールする最大深度

現在この値が「5」になっていると思うので、これを10などにすればこれ以上深いリンクも
たどることができるようになります。

ご参考までに。

Comments

[RioNishino]

ご回答ありがとうございます。

確認したところDEPTH_LIMITの値が5になっていました。
ここでクロール深度を変更できるのですね。
その値を大きくすることでデータを取得することができました。

settings.pyで色々と設定できることも知れて、大変勉強になりました。
心より感謝申し上げます。