Java とあるフォルダの中のHTMLファイルのみを取得し、更にそのHTMLファイルの中の要素を取得しcsvファイルに書き残したい。

Question

### 前提・実現したいこと javaの基礎学習をつい先日1周した者です。実践的な何かを作りたく、タイトルのようなものを想定し現在作成中です。作り方が分からなくなってしまい、長時間手が止まってしまったのでここに記述し、他者にみてもらう事で整理をしようと思っております。かなり迷走していて基礎も調べながらの記述になっているためコードが読みづらいかもしれませんがご容赦ください。・csvファイルはindex年月日時分秒のフォーマットを使い作成・読み込みたいフォルダはエディターのデバック環境に引数として登録済み・csvファイルには　HTMLファイル名とタイトルを1行ずつ記述する上記のようなものを目標に作成しております。 ### 該当のソースコード ``` csvファイルの作成 htmlファイル名取得 htmlファイル名をcsvファイルに書き込みまでの完成したコード import java.io.File; import java.io.IOException; import java.text.DateFormat; import java.text.SimpleDateFormat; import java.util.Calendar; import java.io.BufferedWriter; import java.io.FileWriter; public class App { public static void main(String[] args) throws Exception { // void型でmainを定義 Calendar c = Calendar.getInstance(); //カレンダークラスにより現在日時を取得 DateFormat myFormat = new SimpleDateFormat("_yyyy_MM_dd_HH_mm_ss"); // 日時のフォーマットを設定 String FileName = "index" + myFormat.format(c.getTime()); // FileNameにファイルネームを定義 File newFile = new File("/Users/mono/tmp/" + FileName + ".csv"); // Fileを/Users/mono/tmp/FileName.csvで作成 try{ if(newFile.createNewFile()){ // もしファイル作成できたら System.out.println(FileName + "のファイルの作成に成功"); // 上記の文章をコマンドラインに表示 }else{ // ファイル作成出来ていなかったら System.out.println("ファイルの作成に失敗"); //　上記の文章をコマンドラインに表示 } }catch(IOException e){ System.out.println(e); } if (args.length != 0){ // 引数の数が0+１個だったら File dir = new File(args[0]); // 引数に設定してあるフォルダをdirに定義 File[] fileList = dir.listFiles(); // fileListにフォルダ内のファイルを配列として格納 for(int i = 0; i < fileList.length; i++){ // fileListの数だけ処理を繰り返す if(fileList[i].getName().contains(".html")){ // .html拡張子のファイル名を取得 if(checkBeforewritefile(newFile)){ BufferedWriter bw = new BufferedWriter(new FileWriter(newFile)); // newFileにまとめて書き込む準備をバッファでする。 bw.write(fileList[i].getName()); // 処理中のfileListの名前をnewFileに書き込む bw.close(); // 1行の処理のため一度閉じる System.out.println(fileList[i].getName() + "のファイル名を書き込みました"); // 書き込めた場合この文章をコマンドラインに表示 } else{ System.out.println("書き込めませんでした"); } } } } } private static boolean checkBeforewritefile(File newFile) { if(newFile.exists()){ if(newFile.isFile() && newFile.canWrite()){ return true; } } return false; } } ``` ``` 作りたいものの作りかけのコード import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; import java.text.DateFormat; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.regex.Pattern; import java.util.regex.Matcher; import java.io.Closeable; public class App { public static void main(String[] args) throws Exception { //カレンダークラスにより現在日時を取得 Calendar c = Calendar.getInstance(); // 日時のフォーマットを設定 DateFormat myFormat = new SimpleDateFormat("yyyy_MM_dd_HH_mm_ss"); // ファイル名を定義 String FileName = "index" + myFormat.format(c.getTime()); // File newFile = new File("/Users/mono/tmp/" + FileName + ".csv"); try{ if(newFile.createNewFile()){ System.out.println(FileName + "のファイルの作成に成功"); }else{ System.out.println("ファイルの作成に失敗"); } }catch(IOException e){ System.out.println(e); } if (args.length != 0){ //引数必ず１つであること //エディターに引数設定済み File dir = new File(args[0]); //設定からフォルダを引数として受け取る File[] fileList = dir.listFiles(); //フォルダの中身を配列として格納 if(fileList != null){ //もしフォルダの中身が終わってないなら for(int i = 0; i < fileList.length; i++){ //繰り返し処理をします try{ if (fileList[i].getName().contains(".html")){//もし html　を含むファイル名があるならば if (checkBeforewritefile(newFile)){ // もしcsvファイルに書き込みをするならば BufferedWriter bw = new BufferedWriter(new FileWriter(newFile)); // csvファイルにファイル書き込みをする宣言 // BufferedReader br = new BufferedReader(new FileReader(fileList[i])); // ファイルを読み込む準備 //　String line; // String型を定義 // while((line = br.readLine()) != null); // 行がなくなるまで1行ずつ処理していく // String regex =" <(title)>.*?<\>"; // これを取得したいと定義 // Pattern p = Pattern.compile(regex); // 定義した物をパターンと定義 // check(p,line); // 1行ずつパターンがないかチェック System.out.println(fileList[i].getName() + "のファイル名を書き込みました"); bw.write(fileList[i].getName()); //フォルダから取得したhtmlを含むファイル名をcsvファイルに書き込み bw.close(); } }else{ System.out.println("書き込めませんでした"); } }catch(IOException e){ System.out.println(e); }finally{ } } } } } private static boolean checkBeforewritefile(File newFile) { if(newFile.exists()){ if(newFile.isFile() && newFile.canWrite()){ return true; } } return false; } private static void check(Pattern p, String line) { Matcher m = p.matcher(line); if (m.find()){ //　バッファ　取得したタイトル　で書き込み }else{ // バッファ　タイトルなし　で書き込み } } } ``` ### 分かっていない事・タイトルにマッチしている物を書き込む方法・繰り返しの処理を何段階かに分けて書く方法質問内容やコードが見づらく申し訳ございません。ご指摘があった所を一つずつなおしていきますので何卒よろしくお願いします。

Accepted Answer

HTMLのタイトル部分は簡単に考えると``タグに収められているわけです。HTMLの構造を意識し、全体を厳密にチェックするなら既存のHTMLパーサーの類を使うべきかと思いますが、自分の勉強の為もあるなら自力でタグの関係性、妥当性を考慮して取り出すようにコードを書いてもよいでしょうし、正規表現の勉強もかねて簡単に（≒少々雑に）取り出すことも可、でしょう。以下は簡単に`<HEAD>...<TITLE>......`に収められたHTMLのタイトルを正規表現で取得するサンプルコーです。HTMLのタグは大文字小文字を区別しないし、複数行にまたがることも考えられるので、その辺は簡単に考慮しています。 ```Java import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import java.util.regex.Pattern; import java.util.regex.Matcher; public class Main { public static void main(String[] args) { Main obj = new Main(); try { obj.run(args[0]); } catch (Exception ex) { ex.printStackTrace(); } } private void run(String fileName) { try { String result = getHtmlTitle(fileName); System.out.println("result: " + result); // で、result をファイルに書き込めば良い。 } catch (Exception ex) { ex.printStackTrace(); } } public String getHtmlTitle(String fileName) throws IOException { String result = ""; BufferedReader br = null; try { // .*部分を抽出。大文字小文字は区別しない。 String regex =".*(.*).*"; Pattern pattern = Pattern.compile(regex, Pattern.CASE_INSENSITIVE); String content = ""; String line; br = new BufferedReader(new FileReader(fileName)); while((line = br.readLine()) != null) { // 複数行に分かれている場合を考慮し、連結する。 content += line; Matcher matcher = pattern.matcher(content); if (matcher.find()) { System.out.println("match: " + matcher.group(0)); result = matcher.group(1); // 発見したらそれ以上検索する必要は無いので、break break; } } } finally { if (br != null) { br.close(); } } return result; } } ``` 以下のような内容のHTMLファイルがあるとして、 ```HTML HTML Title Body content. ```` このサンプルコードを実行するとタイトル部分を抽出し、出力します。 ```CMD C>java Main.java sample1.html match: HTML Title result: HTML Title ``` --- **その他：** 複数の機能をひとつのプログラムに組み込むときに考えが迷走してしまうのは、ひとつの原因として機能の切り分けが不完全であるために、思考があちこちに飛んでしまい、ひとところに集中できないというのがあります。例えば以下のような処理であれば、ループも処理のネストも深くなりますし、深くはなりつつもコードの前後で変数の関係は生きているので影響範囲を狭めづらく、うまく管理しないとコンパイルエラーも起きやすくなります。 ``` ファイル数分ループ対象のファイルの行数分ループ 1行ごとの処理色々 if 対象の行、データか対象のデータを別ファイルに追加 ``` そんなものは論理的にひとつの機能、メソッドに切り出します。例えば「ファイル名を引数としたファイル1つだけを処理するメソッド」にすれば、見た目のループのネストも少なくなり得るし、テストやデバッグもし易いはずです。実例として先に挙げたサンプルコードは、「HTMLファイル名を引数として、そのファイルから"タイトルだけ"を抽出する」メソッドです。メインで実行するクラスにつきものの`static void main(String[] args)` メソッドですが、このメソッド内でコードを書き進めてしまうと、`static`であるが故にインスタンスフィールドも使えず、他のメソッドへも切り出しづらいです。`static`メソッドを書き続けなければなりません。そんな場合は`static void main(String[] args)`は単なる実行時のエントリポイントである、ということを踏まえ、`main`メソッドではインスタンスを生成し、そのインスタンスのメソッドを実行するようにすれば適切かつ使い良いようにクラスを扱えます。これも先のサンプルコードを見てみてください。`Main obj = new Main(); .. obj.run();` で実行するようにしています。

Answer

htmlのparseは他の方が頑張ってくれているようなので、ループについて。引数の数が足りない、htmlファイルが無いの様に処理の継続が不可能な場合は早期returnで処理を抜けるとシンプルにコードが書けます。思考としては「この条件にマッチしたら処理を続ける」ではなく「条件にマッチしなかったら処理を終了」と考えると良いでしょう。「この条件にマッチしたら処理を続ける」で処理を続けると思考もネストしていき記述するコードも思考に伴ってネストしていきます。 ```Java import java.io.File; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.nio.file.Files; import java.nio.file.Path; import java.text.DateFormat; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Calendar; import java.util.Collections; import java.util.List; import java.util.Objects; public class App { public static void main(String[] args) throws Exception { //カレンダークラスにより現在日時を取得 Calendar c = Calendar.getInstance(); // 日時のフォーマットを設定 DateFormat myFormat = new SimpleDateFormat("yyyy_MM_dd_HH_mm_ss"); String FileName = "index" + myFormat.format(c.getTime()); Path path = Path.of("/Users/mono/tmp/", FileName, ".csv"): var app = new App(); if (!app.validate(args)) { return; } List htmlFileList = app.getHtmlFiles(args[0]); if (htmlFileList.isEmpty()) { return; } List csvRecords = new ArrayList<>(); for (File file : htmlFileList) { String title = app.getTitle(file); var record = new CsvRecord(file.getName(), title); csvRecords.add(record.toCsv()); } try { Files.write(path, csvRecords, StandardCharsets.UTF_8); } catch (IOException e) { System.out.println("ファイルの作成に失敗"); } } /** * 引数をチェックする. * * @param args 引数 * @return チェック結果 */ private boolean validate(String[] args) { if (args.length < 1) { return false; } return true; } /** * htmlファイルを取得する. * * @param path Path * @return htmlファイルリスト */ private List getHtmlFiles(String path) { List ret = new ArrayList<>(); File dir = new File(path); File[] fileList = dir.listFiles(); if (Objects.isNull(fileList)) { // 空ならemptyListを返す return Collections.emptyList(); } for (int i = 0; i < fileList.length; i++) { fileList[i].getName().endsWith(".html"); ret.add(fileList[i]); } return ret; } /** * タイトルを取得する. * * @param file ファイル * @return タイトル */ private String getTitle(File file) { // TODO: htmlファイルからtitleを取得する return ""; } static class CsvRecord { /** * コンストラクタ. * * @param fileName ファイル名 * @param title タイトル */ public CsvRecord(String fileName, String title) { this.fileName = fileName; this.title = title; } /** * ファイル名. */ private String fileName; /** * タイトル. */ private String title; /** * CSV変換. * * @return csv */ public String toCsv() { return String.join(",", this.fileName, this.title); } } } ```

前提・実現したいこと

該当のソースコード

分かっていない事

関連した質問