webスクレイピングで文字列を見やすくする

Question

前提・実現したいこと

GAS(google apps script)で、webスクレイピングをしようと思っています。
該当のwebサイトから取得する文字列には、**<p>や<li>**などのHTMLの記号が含まれていますが、それらを取り除いて読みやすい形にしたいです。

該当のソースコード

function myFunction() {
  /////①URLの指定/////
  var url = "https://atcoder.jp/contests/agc044/tasks/agc044_a";
  /////②HTMLテキストの取得/////
  var response = UrlFetchApp.fetch(url);
  var html = response.getContentText('UTF-8');
  /////③タイトルタグの抽出/////
  //開始文字列の指定
  var start_str = "<section>";
  var start_num = html.indexOf(start_str)+start_str.length;
  //終了文字列の指定
  var end_str = "</section>";
  var end_num = html.indexOf(end_str);
  //タイトルタグをスクレイピング
  var title = html.substring(start_num, end_num);
  
  //ここに文字列をきれいにする処理を書く
  
  //結果の出力
  console.log(title);
}

試したこと

該当の文字列を順番に見ていき、**"<"と">"**で囲まれている部分を順番に削除して行こうと思いましたが、厳密でなく、時間もかかるので、何かいい方法があれば教えていただきたいです。

補足情報

ちなみに、AtcoderのURLから、問題文を出力するというプログラムです。

Answer 1

厳密かは分かりませんが、正規表現を使った.replaceをすれば出来るかと思います。以下がサンプルです。

//タグが,</h1>,</h2>,</h3>等の場合、改行に置き換えます。
var txt = title.replace(/</h\d+>/ig, "\n");
//タグを消します。<p>,</p>など全部。
txt = txt.replace(/<\w+[^>]*>|</\w+>/g, "");

function myFunction() {
    /////①URLの指定/////
    var url = "https://atcoder.jp/contests/abc162/tasks/abc162_a";
    /////②HTMLテキストの取得/////
    var response = UrlFetchApp.fetch(url);
    var html = response.getContentText("UTF-8");
    /////③タイトルタグの抽出/////
    //開始文字列の指定
    var start_str = "<section>";
    var start_num = html.indexOf(start_str) + start_str.length;
    //終了文字列の指定
    var end_str = "</section>";
    var end_num = html.indexOf(end_str);
    //タイトルタグをスクレイピング
    var title = html.substring(start_num, end_num);

    //ここに文字列をきれいにする処理を書く

    //タグが,</h1>,</h2>,</h3>等の場合、改行に置き換えます。
    var txt = title.replace(/</h\d+>/ig,"\n");
    //タグを消します。<p>,</p>など全部。
    txt = txt.replace(/<\w+[^>]*>|</\w+>/g, "");
    Logger.log(txt);

    //結果の出力
    Logger.log(title);
}

Comments

[SotaUN]

とても役に立ちました！ありがとうございます！

[SotaUN]

ところで、
txt = txt.replace(/<\w+[^>]*>|</\w+>/g, "");
の部分では、全てのタグを除くというどのような処理をしているのでしょうか。
可能な範囲で教えていただければ幸いです。

[fake_shibe]

txt.replace(/<\w+[^>]*>|</\w+>/g, "");
は、正規表現で一致した文字を""（削除してます）に置き換えています。

/<\w+[^>]*>|</\w+>/gの正規表現ですが、
<\w+[^>]*>でタグの始まりの部分の、<h1>,<p>,<a href="https://hoge.com">に一致します。
| は or です。
</\w+>で終了タグ</h1>,</p>,</a>などに一致します。

上で一致した部分を全部削除(""に置き換えてます)しています。

[SotaUN]

ご丁寧にありがとうございました