###前提・実現したいこと
netkeiba-scraperの最後の命令での実行時間について質問です。
###発生している問題・エラーメッセージ
netkeiba-scraperを使用させていただいております。
その使い方によりますと、
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
使い方
以下のコマンドを上から順に実行していけば最後に素性が作成される。
sbt "run collecturl"
レース結果が載っているURLを収集して「race_list.txt」に保存する。
sbt "run scrapehtml"
レース結果のHTMLをスクレイピングしてhtmlフォルダに保存する。HTMLをまるごとスクレイピングするので結構時間がかかる。
sbt "run extract"
HTMLからレース結果を抜き出しSQLiteに保存する。
sbt "run genfeature"
レース結果を元にして素性を作りSQLiteに保存する。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
とありますが、最後の作業にやけに時間がかかります。
どなたか最後の命令まで完了した方がいらっしゃいましたら、どのくらいかかったか教えていただけないでしょうか。
ちなみに、最初の命令はおよそ20分、2番目の命令はおよそ50時間、3番目の命令はおよそ3時間で終わりましたが、最後の命令は、進行度が25%から26%になるのに1時間かかりました。パーセンテージの貯まり方は当然一定ではないと思いますが、確実に少しずつ遅くなっていってるのを確認したので、このままだと100時間以上かかってしまうのでしょうか。
###試したこと
一度プログラムを途中まで走らせ、一度PCを再起動してもう一度やってみました。
###補足情報(言語/FW/ツール等のバージョンなど)
Scala
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2016/09/24 04:35