Python 長時間稼動時の注意点について

Question

行いたいこと

Pythonを利用してWEBクローリング・スクレイピングを行なっています。
できる限り長時間稼働させたいと考えています。
長時間というのは、数日・1週間のレベルです。

私自身プログラムを上記期間ほど連続稼働させた経験がありません。
連続稼働させる上で注意点等ありますでしょうか？

※スクレイピング時、特定WEBサイトへの大量アクセスを避けることについては考慮しています。

Answer 1

一番肝心なのは、細かくログを取り、ぶっつけ本番でなく事前に耐久テストを行うことです。
あとは、メモリリークを起こさないだとかエラーハンドリングを適切に行うだとかの、できていて当たり前のことになります。
Windows ならその間のリセットを伴う自動更新は切っておいてください。

Comments

[takumi123]

早々に回答いただきありがとうございます。
＞メモリリークを起こさないだとかエラーハンドリングを適切に行うだとかの、できていて当たり前のことになります。

この当たり前の部分がピンときていない状態です。
この辺りの基礎があるサイトや本はありますでしょうか？
もしくは、抑えるべきキーワード群を教えていただけないでしょうか？

ご回答いただけると幸いです。

[Zuishin]

一週間の稼動が必要ならとりあえず作って三週間動かして問題があれば直すのが手っ取り早いです。

手っとり早さを求めるならそんな回答しかできません。

長期間稼働させるというのは、その間に停止する可能性を可能な限り下げるということです。付け焼き刃の知識で対応できるかどうかは事例によります。
メモリリークにしてもエラーハンドリングにしても言語やライブラリについての正しい知識が求められますので、それらを誰でも一目見たらわかる形で簡単にまとめたものは無いんじゃないでしょうか。

[Zuishin]

例えば一日動くソフトができたとします。しかしそれは十回に一回の割合で一日動きません。90 点のソフトです。
それを一週間稼働させようとすると、稼働できる確率は 48% で、五割を切ります。これでは使い物になりません。
必要なのは 90 点のソフトではなく、100 点や 99 点のソフトです。「ここさえ気をつければ大丈夫」ではなく、どこにもミスの無いものが求められます。

ですから長期稼働に必要なのは基礎だけではありません。基礎はあって当たり前で、それ以上のものが求められます。

ただ、する事がスクレイピングだけというなら、自分で書かなければならない部分の割合は少なく、ハードルはそれほど高くないでしょうから、とりあえず作ってみてまずいところを直すようにしてもできるのではないかと思います。