質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Scala

ScalaはJava仮想マシンで動作を行うオブジェクト指向型プログラミング言語の1つです。静的型付けの関数型言語で、コンパイルエラーの検出に強みがあります。

Q&A

0回答

1925閲覧

scala スクレイピング 文字化けします

teraken

総合スコア13

Scala

ScalaはJava仮想マシンで動作を行うオブジェクト指向型プログラミング言語の1つです。静的型付けの関数型言語で、コンパイルエラーの検出に強みがあります。

0グッド

0クリップ

投稿2016/12/27 11:19

編集2017/01/05 06:34

ここのファイルですが
https://github.com/stockedge/netkeiba-scraper
スクレイピングで文字化けしてしまいます

def scrape() = {

val driver = new HtmlUnitDriver(false) //login driver.get("https://account.netkeiba.com/?pid=login") driver.findElement(By.name("login_id")).sendKeys(mail) driver.findElement(By.name("pswd")).sendKeys(password+"\n") val re = """/race/(\d+)/""".r val nums = io.Source.fromFile("race_url.txt","SHIFT-JIS").getLines.toList. map{ s => val re(x) = re.findFirstIn(s).get; x } val urls = nums.map(s => "http://db.netkeiba.com/race/" + s) val folder = new File("html") if (!folder.exists()) folder.mkdir() var i = 0 nums.zip(urls).map{ case (num, url) => i += 1 println(""+i+":downloading "+url) val file = new File(folder, num + ".html") if (!file.exists()) { driver.get(url) Thread.sleep(5000) val html = driver.getPageSource() FileUtils.writeStringToFile(file, html) } }

}

}

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

rysh

2017/01/03 00:13

ファイルも添付してはどうですか?
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問