jQuery相対的に位置を指定して、<br>タグを削除したい。

Question

<a id="remove">のボタンを押すと、<div id="no_4">の上にある<br>だけ削除するようにしたいです。
以下のコードだと、<a id="remove">のボタンを押すと、全ての<br>タグが削除されます。
「<div id="no_4">の上にある<br>だけ削除」という風に、<div id="no_4">から相対的な位置を指定した特定の<br>タグを削除にしたいのですが、
何か良い方法はありますでしょうか？

<div id="files">
    <div id="no_1">
        <input type="file" name="file_1">
    </div>
    <br>
    <div id="no_2">
        <input type="file" name="file_2">
    </div>
    <br>
    <div id="no_3">
        <input type="file" name="file_3">
    </div>
    <br>
    <div id="no_4">
        <input type="file" name="file_4">
    </div>
</div>
<div style="margin-top: 20px">
     <a id="remove">Remove</a>
</div>

$('#remove').click(function(){
    var br = $("br");
    br.remove();
}

Answer 1

prev()で直前の要素を取得できます。

$('#remove').click(function(){
    var br = $("#no_4").prev("br");
    br.remove();
})

prev("br") とすると直前の要素が br の時のみ取得します。

Answer 2

no_4からなら下記みたいなように書けます。
自分がやるとしたらコメントアウトしたように書くと思います。

        // no_4の直前のbrを削除
        $('#remove').one("click", function () {
            var br = $("#no_4").prev();
            br.remove();
        });

        // 3番目のbrを削除

        // $('#remove').click(function () {
        //     var br = $("br").eq(2);
        //     br.remove();
        // });