まず機能について調べましょう。
知識がないなら調べて試して、つけるしかありません。
window.confirm
return
上記から「confirm関数の結果を返している」ということが分かるかと思います。
もう1点 buttonタグのデフォルトは「submit」となっています。
submitは「送信」の意。
falseを返すことで実行しない機能となっています(正確な表現は違うかもしれない)
returnを記すことで、confirmのボタンを押した結果 true/falseを明示的に返しています。