###前提・実現したいこと
scala初心者でございます。
stockedge/netkeiba-scraperで競馬情報をスクレイピングしておりますが、中盤の動作の途中で、以下のエラーメッセージが発生しました。
###発生している問題・エラーメッセージ
[error] (run-main-0) java.lang.UnsupportedOperationException: tail of empty list java.lang.UnsupportedOperationException: tail of empty list at scala.collection.immutable.Nil$.tail(List.scala:339) at scala.collection.immutable.Nil$.tail(List.scala:334) at RowExtractor$.extractDateInfo$1(Main.scala:177) at RowExtractor$.extract(Main.scala:180) at Main$$anonfun$77.apply(Main.scala:1983) at Main$$anonfun$77.apply(Main.scala:1979) at scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252) at scala.util.control.Exception$Catch.apply(Exception.scala:102) at scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250) at scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258) at scalikejdbc.DB.localTx(DB.scala:75) at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:257) at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:256) at scalikejdbc.LoanPattern$class.using(LoanPattern.scala:33) at scalikejdbc.DB$.using(DB.scala:150) at scalikejdbc.DB$.localTx(DB.scala:256) at Main$.main(Main.scala:1979) at Main.main(Main.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) at java.lang.reflect.Method.invoke(Unknown Source) [trace] Stack trace suppressed: run last compile:run for the full output. java.lang.RuntimeException: Nonzero exit code: 1 at scala.sys.package$.error(package.scala:27) [trace] Stack trace suppressed: run last compile:run for the full output. [error] (compile:run) Nonzero exit code: 1 [error] Total time: 645 s, completed 2016/09/04 10:03:46 C:\Users\satoru\horse\netkeiba-scraper-master>
###上記のエラーコードが出る直前の出力データ
[Stack Trace] ... RaceResultDao$.insert(Main.scala:592) RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:266) RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:257) scala.collection.immutable.List.foreach(List.scala:318) RowExtractor$$anonfun$extract$3.apply(Main.scala:257) RowExtractor$$anonfun$extract$3.apply(Main.scala:255) scala.util.Success.foreach(Try.scala:205) RowExtractor$.extract(Main.scala:255) Main$$anonfun$77.apply(Main.scala:1983) Main$$anonfun$77.apply(Main.scala:1979) scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252) scala.util.control.Exception$Catch.apply(Exception.scala:102) scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250) scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258) scalikejdbc.DB.localTx(DB.scala:75) ... 10:03:45.529 [run-main-0] DEBUG s.StatementExecutor$$anon$1 - SQL execution completed [SQL Execution] insert or replace into race_result ( race_id, order_of_finish, frame_number, horse_number, horse_ id, sex, age, basis_weight, jockey_id, finishing_time, length, speed_figure, pass, last_phase, odds, popularity, horse_weight, remark, stable, trainer_id, owner_id, earning_money ) values ( 2655, '14' , 2, 2, '2004101291', '牝', 3, 54.0, '00719', '1:14.5', '3.1/2', null, '15-15', 38.3, 392.4, 14, '44 6(+4)', null, '東', '00371', '591006', null ); (0 ms) [Stack Trace] ... RaceResultDao$.insert(Main.scala:592) RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:266) RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:257) scala.collection.immutable.List.foreach(List.scala:318) RowExtractor$$anonfun$extract$3.apply(Main.scala:257) RowExtractor$$anonfun$extract$3.apply(Main.scala:255) scala.util.Success.foreach(Try.scala:205) RowExtractor$.extract(Main.scala:255) Main$$anonfun$77.apply(Main.scala:1983) Main$$anonfun$77.apply(Main.scala:1979) scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252) scala.util.control.Exception$Catch.apply(Exception.scala:102) scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250) scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258) scalikejdbc.DB.localTx(DB.scala:75) ... 10:03:45.545 [run-main-0] DEBUG s.StatementExecutor$$anon$1 - SQL execution completed [SQL Execution] insert or replace into race_result ( race_id, order_of_finish, frame_number, horse_number, horse_ id, sex, age, basis_weight, jockey_id, finishing_time, length, speed_figure, pass, last_phase, odds, popularity, horse_weight, remark, stable, trainer_id, owner_id, earning_money ) values ( 2655, '15' , 1, 1, '2004104045', '牡', 3, 56.0, '05199', '1:15.6', '7', null, '12-13', 40.3, 166.7, 10, '456(-4 )', '<div class="txt_c"><a href="http://www.netkeiba.com/premium/service=p13"><img border="0" height ="13"... (170)', '東', '01080', '513008', null ); (0 ms) [Stack Trace] ... RaceResultDao$.insert(Main.scala:592) RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:266) RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:257) scala.collection.immutable.List.foreach(List.scala:318) RowExtractor$$anonfun$extract$3.apply(Main.scala:257) RowExtractor$$anonfun$extract$3.apply(Main.scala:255) scala.util.Success.foreach(Try.scala:205) RowExtractor$.extract(Main.scala:255) Main$$anonfun$77.apply(Main.scala:1983) Main$$anonfun$77.apply(Main.scala:1979) scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252) scala.util.control.Exception$Catch.apply(Exception.scala:102) scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250) scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258) scalikejdbc.DB.localTx(DB.scala:75) ... [error] (run-main-0) java.lang.UnsupportedOperationException: tail of empty list java.lang.UnsupportedOperationException: tail of empty list at scala.collection.immutable.Nil$.tail(List.scala:339) at scala.collection.immutable.Nil$.tail(List.scala:334) at RowExtractor$.extractDateInfo$1(Main.scala:177) at RowExtractor$.extract(Main.scala:180) at Main$$anonfun$77.apply(Main.scala:1983) at Main$$anonfun$77.apply(Main.scala:1979) at scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252) at scala.util.control.Exception$Catch.apply(Exception.scala:102) at scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250) at scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258) at scalikejdbc.DB.localTx(DB.scala:75) at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:257) at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:256) at scalikejdbc.LoanPattern$class.using(LoanPattern.scala:33) at scalikejdbc.DB$.using(DB.scala:150) at scalikejdbc.DB$.localTx(DB.scala:256) at Main$.main(Main.scala:1979) at Main.main(Main.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) at java.lang.reflect.Method.invoke(Unknown Source) [trace] Stack trace suppressed: run last compile:run for the full output. java.lang.RuntimeException: Nonzero exit code: 1 at scala.sys.package$.error(package.scala:27) [trace] Stack trace suppressed: run last compile:run for the full output. [error] (compile:run) Nonzero exit code: 1 [error] Total time: 645 s, completed 2016/09/04 10:03:46 C:\Users\satoru\horse\netkeiba-scraper-master>
###試したこと
当たり前のことではございますが、stockedge/netkeiba-scraperの使い方の通りに最初からコマンドを実行してみました。
(以下マニュアル引用)
以下のコマンドを上から順に実行していけば最後に素性が作成される。
①sbt "run collecturl"
レース結果が載っているURLを収集して「race_list.txt」に保存する。
②sbt "run scrapehtml"
レース結果のHTMLをスクレイピングしてhtmlフォルダに保存する。HTMLをまるごとスクレイピングするので結構時間がかかる。
③sbt "run extract"
HTMLからレース結果を抜き出しSQLiteに保存する。
この③のコマンドを実行後に上記のエラーが発生いたしました。
②のコマンド実行時にも別の質問で質問、解決済みではございますが、エラーが発生しても、繰り返しコマンドを実行することで、解決いたしました。今回もそれを踏まえて、何回もコマンド実行しましたが、今回は
[Stack Trace]
RaceResultDao$.insert(Main.scala:592)を先頭に同じ箇所でエラーを繰り返していると思われます。(Unknown Source)となっている箇所がエラーの原因と思われますが、どう対応してよいか苦慮しております。
ちなみに、会員専用サイトではございませんし、会員用のデータはnullと表示されますので、会員ページでのエラーではないと考えております。
②の処理に約5日間もかかりましたので、繰り返しsbt "run extract"をコマンド実行しましたが、今回は、相手方コンピュータが拒否しているとは考えにくいと思われます。
御教示、ヒント、考え方、よろしくお願いいたします。
###補足情報(言語/FW/ツール等のバージョンなど)
scala
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2016/09/05 10:00