Q&A
ありがとうございます！
中古車市場を調べるために、pythonを使って中古車サイトのスクレイピングを毎朝していますが、
改善したい点が2つあります。
一つ目は、スクレイピングしてファイルに書き込むと、前日にスクレイピングした同名のcsvファイルが上書きされてしまい、前日までのデータが全て消えてしまうこと。
可能であれば、同じcsvファイルに、スクレイピングする度に新規列として、データを追加したいです。
2つ目は、スクレイピング自体はワンクリックでできるのですが、毎朝手動でkernel restartして全コードをrunさせるのが億劫なので、毎朝決まった時間に勝手にスクレイピングしてくれるようにプログラミングしたいです。
どちらかだけのご回答でも構いませんので、おわかりの方いらっしゃいましたら是非ご教示お願い致します。
回答2件
0
投稿2020/09/01 05:28
総合スコア88042
0
ベストアンサー
Linux系ならばcronでpythonプログラムを定期実行できます。
windows系ならば、タスクスケジューラを使用することで定期実行できます。
https://qiita.com/__init__/items/95ac1d45858b8b24a59c
.pyファイルの定期実行ではなくjupyter notebookの場合は
papermillを併用することで対応できるはずです。
投稿2020/09/01 05:15
総合スコア1137
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2020/09/01 12:16
2020/09/02 04:22