javaでのwebスクレイピングにおけるエラー

Question

javaでjsoupを用いてwebスクレイピングを行い、新規txtファイルに保存するプログラムを作成しています。
使用している環境は
EclipseIDE　Version: 2019-03 (4.11.0)
Jsoup-1.12.1.jar
です。

package getInfo;

import java.io.FileWriter;
import java.io.IOException;
import java.io.File;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class test{
	public static void main(String[] args) throws IOException {
		
		try {
            File file = new File("c:¥¥user¥¥test7.txt");
            
            if(!(file.exists())) {
	            FileWriter filewriter = new FileWriter(file);
	            Document document = Jsoup.connect("https://news.yahoo.co.jp/").get();
	            Elements elements = document.select("h6");
	            
	            for (Element element : elements) {
	                String name = element.text();
	                filewriter.write(name + "\n");
	                System.out.println(name);
	            }
	            filewriter.close();
            }else {
            	System.out.println("このファイルは既に存在します");
            }
		}catch(IOException e) {
			System.out.println("Error:FileWrite");
		}
	}
}

このコードを実行すると、FileWriterで例外処理が発生し"Error:FileWriter"が出力されます。
System.out.println("")を挟んでチェックしたところ

Document document = Jsoup.connect("https://wa3.i-3-i.info/word13663.html").get();

ここの部分で例外処理に飛んでおり、上手くWebページからHTML情報を変数に代入出来ていないようです。
色々なページで試してみましたが全て例外処理に飛んでしまいました。

調べてみたところJavaScriptを使用しているページではJsoup.connectが上手く動作しないといった記述もありましたが
よく原因がわかりませんでした。
ちなみにもう一度実行すると"このファイルは既に存在しています"と出力されますが、フォルダにはtxtファイルが作成されていませんでした。

何か原因がわかる方いらっしゃればご教示お願いしたいです。よろしくお願い致します。

Comments

[coco_bauer]

「FileWriterで例外処理が発生し」というのは、質問のプログラムのどのコード行で例外が発生しているというのですか？
"Document document = Jsoup.connect("https://wa3.i-3-i.info/word13663.html").get();"ここの部分で例外処理に飛んでおりとも書かれていますが、try節の中で例外が発生したら、catch節でその例外が補足されるので、try節の中で起きた２つの例外が両方とも補足される事はありません。
「"Error:FileWriter"が出力されます」というのは、catch節でそのように出力するようにしてあるからで、それは例外がtry節のどこかで起きた事を示しているだけです。
"System.out.println("Error:FileWrite");"の下に、"System.out.println(e);"というコードを追加すると、例外の内容が表示されるようになりますので、表示された内容を質問に追加してください。そうすると例外の原因が絞り込めますから。

[退会済みユーザー]

https://wa3.i-3-i.info/rule.html

ちゃんと許可を得たのでしょうか?

[junkjunk]

coco_bauerさん
「FileWriterで例外処理が発生し」というのはFileWriterクラスを使おうとした本プログラムで例外処理が発生した、という意味で、
FileWriterクラスを使おうとしたら例外処理が発生した→System.out.println("")を各行に挟んで確認したところ「Document document・・・」の一行の部分で例外処理が発生しているらしい、という流れです。わかりにくくてすみません。なのでtry節の中では例外処理は1つだけ発生しているという認識です。
尚、ご指摘頂いたSystem.out.println(e)を設定したところ
「java.net.ConnectException: Connection timed out: connect」
というエラー文が吐き出されました。

asahina1979さん
確認不足でした…。申し訳ないです。該当箇所のURLを修正させていただきます。ご指摘頂いてありがとうございます。

[coco_bauer]

「java.net.ConnectException: Connection timed out: connect」という説明ですから、指定したURLに接続しにいったのに制限時間内(通所、2秒以内)に接続できなかった。だから、"時間切れで接続できませんでした"という例外が挙がったという事情だったと考えられます。

質問のプログラムの
”Document document = Jsoup.connect("https://news.yahoo.co.jp/").get();”の行を、"Document document = Jsoup.connect("https://news.yahoo.co.jp/").timeout(5000).get();"に変更してみてください。
".timeout(5000)"の部分で制限時間を５秒(5000ミリ秒)に設定していますから、成功するかもしれません。（ダメなら、.timeout(100000 で試してみてください。10秒でも接続できないならネットワークの設定や、ネットワーク機器などに問題があるのかもしれません。

[junkjunk]

coco_bauerさん
.timeout()を追加して試したところ20秒、30秒にしてもやはりconnection timed outになってしまうため、ネットワークの設定が原因だと思われます。
ひとまず原因がわかっただけでも助かりました。ありがとうございます。

[junkjunk]

coco_bauerさん
timeout()で制限時間を指定したところうまく接続できるようになりました。ありがとうございます。
ベストアンサーにさせて頂きたいのですが質問に対するコメント欄でのやりとりですので自己解決にてcoco_bauerさんの解決方法を載せさせて頂きます。

Answer 1

制限時間内（通常２秒以内）に接続できなかったことが原因でした。
”Document document = Jsoup.connect("https://news.yahoo.co.jp/").get();”
を
"Document document = Jsoup.connect("https://news.yahoo.co.jp/").timeout(10000).get();""
に変更して制限時間を延長したところ接続できるようになりました。