teratail
回答率
85.48%
質問するログイン新規登録

質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう！

新規登録して質問してみよう
ただいま回答率
85.48%
トップScalaに関する質問
Scala

ScalaはJava仮想マシンで動作を行うオブジェクト指向型プログラミング言語の1つです。静的型付けの関数型言語で、コンパイルエラーの検出に強みがあります。

Q&A

解決済

1回答

3215閲覧

stockedge/netkeiba-scraperの動作の中盤で、エラーが発生して、困っております。

akakage13
akakage13

総合スコア89

Scala

ScalaはJava仮想マシンで動作を行うオブジェクト指向型プログラミング言語の1つです。静的型付けの関数型言語で、コンパイルエラーの検出に強みがあります。

0グッド

0クリップ

投稿2016/09/04 01:38

0

0

###前提・実現したいこと
scala初心者でございます。
stockedge/netkeiba-scraperで競馬情報をスクレイピングしておりますが、中盤の動作の途中で、以下のエラーメッセージが発生しました。

###発生している問題・エラーメッセージ

[error] (run-main-0) java.lang.UnsupportedOperationException: tail of empty list
java.lang.UnsupportedOperationException: tail of empty list
        at scala.collection.immutable.Nil$.tail(List.scala:339)
        at scala.collection.immutable.Nil$.tail(List.scala:334)
        at RowExtractor$.extractDateInfo$1(Main.scala:177)
        at RowExtractor$.extract(Main.scala:180)
        at Main$$anonfun$77.apply(Main.scala:1983)
        at Main$$anonfun$77.apply(Main.scala:1979)
        at scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252)
        at scala.util.control.Exception$Catch.apply(Exception.scala:102)
        at scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250)
        at scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258)
        at scalikejdbc.DB.localTx(DB.scala:75)
        at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:257)
        at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:256)
        at scalikejdbc.LoanPattern$class.using(LoanPattern.scala:33)
        at scalikejdbc.DB$.using(DB.scala:150)
        at scalikejdbc.DB$.localTx(DB.scala:256)
        at Main$.main(Main.scala:1979)
        at Main.main(Main.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
[trace] Stack trace suppressed: run last compile:run for the full output.
java.lang.RuntimeException: Nonzero exit code: 1
        at scala.sys.package$.error(package.scala:27)
[trace] Stack trace suppressed: run last compile:run for the full output.
[error] (compile:run) Nonzero exit code: 1
[error] Total time: 645 s, completed 2016/09/04 10:03:46

C:\Users\satoru\horse\netkeiba-scraper-master>

###上記のエラーコードが出る直前の出力データ

  [Stack Trace]
    ...
    RaceResultDao$.insert(Main.scala:592)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:266)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:257)
    scala.collection.immutable.List.foreach(List.scala:318)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:257)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:255)
    scala.util.Success.foreach(Try.scala:205)
    RowExtractor$.extract(Main.scala:255)
    Main$$anonfun$77.apply(Main.scala:1983)
    Main$$anonfun$77.apply(Main.scala:1979)
    scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252)
    scala.util.control.Exception$Catch.apply(Exception.scala:102)
    scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250)
    scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258)
    scalikejdbc.DB.localTx(DB.scala:75)
    ...

10:03:45.529 [run-main-0] DEBUG s.StatementExecutor$$anon$1 - SQL execution completed

  [SQL Execution]
   insert or replace into race_result ( race_id, order_of_finish, frame_number, horse_number, horse_
id, sex, age, basis_weight, jockey_id, finishing_time, length, speed_figure, pass, last_phase, odds,
 popularity, horse_weight, remark, stable, trainer_id, owner_id, earning_money ) values ( 2655, '14'
, 2, 2, '2004101291', '牝', 3, 54.0, '00719', '1:14.5', '3.1/2', null, '15-15', 38.3, 392.4, 14, '44
6(+4)', null, '東', '00371', '591006', null ); (0 ms)

  [Stack Trace]
    ...
    RaceResultDao$.insert(Main.scala:592)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:266)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:257)
    scala.collection.immutable.List.foreach(List.scala:318)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:257)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:255)
    scala.util.Success.foreach(Try.scala:205)
    RowExtractor$.extract(Main.scala:255)
    Main$$anonfun$77.apply(Main.scala:1983)
    Main$$anonfun$77.apply(Main.scala:1979)
    scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252)
    scala.util.control.Exception$Catch.apply(Exception.scala:102)
    scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250)
    scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258)
    scalikejdbc.DB.localTx(DB.scala:75)
    ...

10:03:45.545 [run-main-0] DEBUG s.StatementExecutor$$anon$1 - SQL execution completed

  [SQL Execution]
   insert or replace into race_result ( race_id, order_of_finish, frame_number, horse_number, horse_
id, sex, age, basis_weight, jockey_id, finishing_time, length, speed_figure, pass, last_phase, odds,
 popularity, horse_weight, remark, stable, trainer_id, owner_id, earning_money ) values ( 2655, '15'
, 1, 1, '2004104045', '牡', 3, 56.0, '05199', '1:15.6', '7', null, '12-13', 40.3, 166.7, 10, '456(-4
)', '<div class="txt_c"><a href="http://www.netkeiba.com/premium/service=p13"><img border="0" height
="13"... (170)', '東', '01080', '513008', null ); (0 ms)

  [Stack Trace]
    ...
    RaceResultDao$.insert(Main.scala:592)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:266)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:257)
    scala.collection.immutable.List.foreach(List.scala:318)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:257)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:255)
    scala.util.Success.foreach(Try.scala:205)
    RowExtractor$.extract(Main.scala:255)
    Main$$anonfun$77.apply(Main.scala:1983)
    Main$$anonfun$77.apply(Main.scala:1979)
    scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252)
    scala.util.control.Exception$Catch.apply(Exception.scala:102)
    scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250)
    scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258)
    scalikejdbc.DB.localTx(DB.scala:75)
    ...

[error] (run-main-0) java.lang.UnsupportedOperationException: tail of empty list
java.lang.UnsupportedOperationException: tail of empty list
        at scala.collection.immutable.Nil$.tail(List.scala:339)
        at scala.collection.immutable.Nil$.tail(List.scala:334)
        at RowExtractor$.extractDateInfo$1(Main.scala:177)
        at RowExtractor$.extract(Main.scala:180)
        at Main$$anonfun$77.apply(Main.scala:1983)
        at Main$$anonfun$77.apply(Main.scala:1979)
        at scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252)
        at scala.util.control.Exception$Catch.apply(Exception.scala:102)
        at scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250)
        at scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258)
        at scalikejdbc.DB.localTx(DB.scala:75)
        at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:257)
        at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:256)
        at scalikejdbc.LoanPattern$class.using(LoanPattern.scala:33)
        at scalikejdbc.DB$.using(DB.scala:150)
        at scalikejdbc.DB$.localTx(DB.scala:256)
        at Main$.main(Main.scala:1979)
        at Main.main(Main.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
[trace] Stack trace suppressed: run last compile:run for the full output.
java.lang.RuntimeException: Nonzero exit code: 1
        at scala.sys.package$.error(package.scala:27)
[trace] Stack trace suppressed: run last compile:run for the full output.
[error] (compile:run) Nonzero exit code: 1
[error] Total time: 645 s, completed 2016/09/04 10:03:46

C:\Users\satoru\horse\netkeiba-scraper-master>

###試したこと
当たり前のことではございますが、stockedge/netkeiba-scraperの使い方の通りに最初からコマンドを実行してみました。
（以下マニュアル引用）

以下のコマンドを上から順に実行していけば最後に素性が作成される。

①sbt "run collecturl"
レース結果が載っているURLを収集して「race_list.txt」に保存する。

②sbt "run scrapehtml"
レース結果のHTMLをスクレイピングしてhtmlフォルダに保存する。HTMLをまるごとスクレイピングするので結構時間がかかる。

③sbt "run extract"
HTMLからレース結果を抜き出しSQLiteに保存する。

この③のコマンドを実行後に上記のエラーが発生いたしました。
②のコマンド実行時にも別の質問で質問、解決済みではございますが、エラーが発生しても、繰り返しコマンドを実行することで、解決いたしました。今回もそれを踏まえて、何回もコマンド実行しましたが、今回は
[Stack Trace]
RaceResultDao$.insert(Main.scala:592)を先頭に同じ箇所でエラーを繰り返していると思われます。(Unknown Source)となっている箇所がエラーの原因と思われますが、どう対応してよいか苦慮しております。
ちなみに、会員専用サイトではございませんし、会員用のデータはnullと表示されますので、会員ページでのエラーではないと考えております。
②の処理に約５日間もかかりましたので、繰り返しsbt "run extract"をコマンド実行しましたが、今回は、相手方コンピュータが拒否しているとは考えにくいと思われます。

御教示、ヒント、考え方、よろしくお願いいたします。

###補足情報(言語/FW/ツール等のバージョンなど)
scala

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1件

0

ベストアンサー

ダウンロードしたデータのうち、ファイルサイズが明らかに小さいものはデータが正しく取れていないので、エラーになっているようです。
例えば、手元のデータでは、200904040612.htmlでエラーになりました。
ファイルサイズからも分かりますが、明らかに変なデータです。
他にも、「ただいま、サイトを閲覧しづらい状態となっております。」というメッセージが入っているファイルがありました。これはサイトが混雑し過ぎでデータの取得に失敗しているものと思われます。

これらのファイルを手動で除去するか、Main.scalaの142行目の次に除外するファイルの条件を追加するかして、このファイルを対象外にしてみて下さい。

とりあえずこれでエラーにはならなくなると思いますが、データが取得できていないものがあるので対処として正しいかどうかは分かりません。

このコードは、ある程度Scalaが分かる人が修正しながら使うことを想定しているようにも見えるので、Scalaが読めるようにならないと使うのは難しいかも知れません。

投稿2016/09/04 18:23

argius
argius

総合スコア9390

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

akakage13
akakage13

2016/09/05 10:00

argius様、御教示ありがとうございました。 Scalaの勉強も始めてみようと思います。 今後とも、よろしくお願いいたします。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

質問の解決につながる回答をしましょう。 サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。 また、読む側のことを考えた、分かりやすい文章を心がけましょう。

15分調べてもわからないことは
teratailで質問しよう！

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

トップScalaに関する質問

stockedge/netkeiba-scraperの動作の中盤で、エラーが発生して、困っております。