質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.37%

  • Scala

    218questions

    ScalaはJava仮想マシンで動作を行うオブジェクト指向型プログラミング言語の1つです。静的型付けの関数型言語で、コンパイルエラーの検出に強みがあります。

stockedge/netkeiba-scraperの動作の中盤で、エラーが発生して、困っております。

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 1,520

akakage13

score 82

前提・実現したいこと

scala初心者でございます。 
stockedge/netkeiba-scraperで競馬情報をスクレイピングしておりますが、中盤の動作の途中で、以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

[error] (run-main-0) java.lang.UnsupportedOperationException: tail of empty list
java.lang.UnsupportedOperationException: tail of empty list
        at scala.collection.immutable.Nil$.tail(List.scala:339)
        at scala.collection.immutable.Nil$.tail(List.scala:334)
        at RowExtractor$.extractDateInfo$1(Main.scala:177)
        at RowExtractor$.extract(Main.scala:180)
        at Main$$anonfun$77.apply(Main.scala:1983)
        at Main$$anonfun$77.apply(Main.scala:1979)
        at scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252)
        at scala.util.control.Exception$Catch.apply(Exception.scala:102)
        at scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250)
        at scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258)
        at scalikejdbc.DB.localTx(DB.scala:75)
        at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:257)
        at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:256)
        at scalikejdbc.LoanPattern$class.using(LoanPattern.scala:33)
        at scalikejdbc.DB$.using(DB.scala:150)
        at scalikejdbc.DB$.localTx(DB.scala:256)
        at Main$.main(Main.scala:1979)
        at Main.main(Main.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
[trace] Stack trace suppressed: run last compile:run for the full output.
java.lang.RuntimeException: Nonzero exit code: 1
        at scala.sys.package$.error(package.scala:27)
[trace] Stack trace suppressed: run last compile:run for the full output.
[error] (compile:run) Nonzero exit code: 1
[error] Total time: 645 s, completed 2016/09/04 10:03:46

C:\Users\satoru\horse\netkeiba-scraper-master>

上記のエラーコードが出る直前の出力データ

[Stack Trace]
    ...
    RaceResultDao$.insert(Main.scala:592)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:266)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:257)
    scala.collection.immutable.List.foreach(List.scala:318)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:257)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:255)
    scala.util.Success.foreach(Try.scala:205)
    RowExtractor$.extract(Main.scala:255)
    Main$$anonfun$77.apply(Main.scala:1983)
    Main$$anonfun$77.apply(Main.scala:1979)
    scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252)
    scala.util.control.Exception$Catch.apply(Exception.scala:102)
    scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250)
    scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258)
    scalikejdbc.DB.localTx(DB.scala:75)
    ...

10:03:45.529 [run-main-0] DEBUG s.StatementExecutor$$anon$1 - SQL execution completed

  [SQL Execution]
   insert or replace into race_result ( race_id, order_of_finish, frame_number, horse_number, horse_
id, sex, age, basis_weight, jockey_id, finishing_time, length, speed_figure, pass, last_phase, odds,
 popularity, horse_weight, remark, stable, trainer_id, owner_id, earning_money ) values ( 2655, '14'
, 2, 2, '2004101291', '牝', 3, 54.0, '00719', '1:14.5', '3.1/2', null, '15-15', 38.3, 392.4, 14, '44
6(+4)', null, '東', '00371', '591006', null ); (0 ms)

  [Stack Trace]
    ...
    RaceResultDao$.insert(Main.scala:592)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:266)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:257)
    scala.collection.immutable.List.foreach(List.scala:318)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:257)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:255)
    scala.util.Success.foreach(Try.scala:205)
    RowExtractor$.extract(Main.scala:255)
    Main$$anonfun$77.apply(Main.scala:1983)
    Main$$anonfun$77.apply(Main.scala:1979)
    scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252)
    scala.util.control.Exception$Catch.apply(Exception.scala:102)
    scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250)
    scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258)
    scalikejdbc.DB.localTx(DB.scala:75)
    ...

10:03:45.545 [run-main-0] DEBUG s.StatementExecutor$$anon$1 - SQL execution completed

  [SQL Execution]
   insert or replace into race_result ( race_id, order_of_finish, frame_number, horse_number, horse_
id, sex, age, basis_weight, jockey_id, finishing_time, length, speed_figure, pass, last_phase, odds,
 popularity, horse_weight, remark, stable, trainer_id, owner_id, earning_money ) values ( 2655, '15'
, 1, 1, '2004104045', '牡', 3, 56.0, '05199', '1:15.6', '7', null, '12-13', 40.3, 166.7, 10, '456(-4
)', '<div class="txt_c"><a href="http://www.netkeiba.com/premium/service=p13"><img border="0" height
="13"... (170)', '東', '01080', '513008', null ); (0 ms)

  [Stack Trace]
    ...
    RaceResultDao$.insert(Main.scala:592)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:266)
    RowExtractor$$anonfun$extract$3$$anonfun$apply$13.apply(Main.scala:257)
    scala.collection.immutable.List.foreach(List.scala:318)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:257)
    RowExtractor$$anonfun$extract$3.apply(Main.scala:255)
    scala.util.Success.foreach(Try.scala:205)
    RowExtractor$.extract(Main.scala:255)
    Main$$anonfun$77.apply(Main.scala:1983)
    Main$$anonfun$77.apply(Main.scala:1979)
    scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252)
    scala.util.control.Exception$Catch.apply(Exception.scala:102)
    scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250)
    scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258)
    scalikejdbc.DB.localTx(DB.scala:75)
    ...

[error] (run-main-0) java.lang.UnsupportedOperationException: tail of empty list
java.lang.UnsupportedOperationException: tail of empty list
        at scala.collection.immutable.Nil$.tail(List.scala:339)
        at scala.collection.immutable.Nil$.tail(List.scala:334)
        at RowExtractor$.extractDateInfo$1(Main.scala:177)
        at RowExtractor$.extract(Main.scala:180)
        at Main$$anonfun$77.apply(Main.scala:1983)
        at Main$$anonfun$77.apply(Main.scala:1979)
        at scalikejdbc.DBConnection$$anonfun$_localTx$1$1.apply(DBConnection.scala:252)
        at scala.util.control.Exception$Catch.apply(Exception.scala:102)
        at scalikejdbc.DBConnection$class._localTx$1(DBConnection.scala:250)
        at scalikejdbc.DBConnection$class.localTx(DBConnection.scala:258)
        at scalikejdbc.DB.localTx(DB.scala:75)
        at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:257)
        at scalikejdbc.DB$$anonfun$localTx$1.apply(DB.scala:256)
        at scalikejdbc.LoanPattern$class.using(LoanPattern.scala:33)
        at scalikejdbc.DB$.using(DB.scala:150)
        at scalikejdbc.DB$.localTx(DB.scala:256)
        at Main$.main(Main.scala:1979)
        at Main.main(Main.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
[trace] Stack trace suppressed: run last compile:run for the full output.
java.lang.RuntimeException: Nonzero exit code: 1
        at scala.sys.package$.error(package.scala:27)
[trace] Stack trace suppressed: run last compile:run for the full output.
[error] (compile:run) Nonzero exit code: 1
[error] Total time: 645 s, completed 2016/09/04 10:03:46

C:\Users\satoru\horse\netkeiba-scraper-master>

試したこと

当たり前のことではございますが、stockedge/netkeiba-scraperの使い方の通りに最初からコマンドを実行してみました。
(以下マニュアル引用)

以下のコマンドを上から順に実行していけば最後に素性が作成される。

①sbt "run collecturl"
レース結果が載っているURLを収集して「race_list.txt」に保存する。

②sbt "run scrapehtml"
レース結果のHTMLをスクレイピングしてhtmlフォルダに保存する。HTMLをまるごとスクレイピングするので結構時間がかかる。

③sbt "run extract"
HTMLからレース結果を抜き出しSQLiteに保存する。

この③のコマンドを実行後に上記のエラーが発生いたしました。
②のコマンド実行時にも別の質問で質問、解決済みではございますが、エラーが発生しても、繰り返しコマンドを実行することで、解決いたしました。今回もそれを踏まえて、何回もコマンド実行しましたが、今回は
[Stack Trace]
RaceResultDao$.insert(Main.scala:592)を先頭に同じ箇所でエラーを繰り返していると思われます。(Unknown Source)となっている箇所がエラーの原因と思われますが、どう対応してよいか苦慮しております。
ちなみに、会員専用サイトではございませんし、会員用のデータはnullと表示されますので、会員ページでのエラーではないと考えております。
②の処理に約5日間もかかりましたので、繰り返しsbt "run extract"をコマンド実行しましたが、今回は、相手方コンピュータが拒否しているとは考えにくいと思われます。

御教示、ヒント、考え方、よろしくお願いいたします。

補足情報(言語/FW/ツール等のバージョンなど)

scala

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

ダウンロードしたデータのうち、ファイルサイズが明らかに小さいものはデータが正しく取れていないので、エラーになっているようです。
例えば、手元のデータでは、200904040612.htmlでエラーになりました。
ファイルサイズからも分かりますが、明らかに変なデータです。
他にも、「ただいま、サイトを閲覧しづらい状態となっております。」というメッセージが入っているファイルがありました。これはサイトが混雑し過ぎでデータの取得に失敗しているものと思われます。

これらのファイルを手動で除去するか、Main.scala142行目の次に除外するファイルの条件を追加するかして、このファイルを対象外にしてみて下さい。

とりあえずこれでエラーにはならなくなると思いますが、データが取得できていないものがあるので対処として正しいかどうかは分かりません。

このコードは、ある程度Scalaが分かる人が修正しながら使うことを想定しているようにも見えるので、Scalaが読めるようにならないと使うのは難しいかも知れません。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2016/09/05 19:00

    argius様、御教示ありがとうございました。
    Scalaの勉強も始めてみようと思います。
    今後とも、よろしくお願いいたします。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.37%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る

  • Scala

    218questions

    ScalaはJava仮想マシンで動作を行うオブジェクト指向型プログラミング言語の1つです。静的型付けの関数型言語で、コンパイルエラーの検出に強みがあります。