【SwiftUI】ボタンを1回押すとボタンの色が変わり値が格納され、もう1回押すと色が元に戻り値も消される仕様にしたい

前提・実現したいこと

ボタンを1回押すとボタンの色が変わる&値が配列に格納され、
再度押すと色が元に戻り値も配列から消される仕様にしたいです。

以下のようなコードにすると実現するにはするのですが、
ボタンを押す度に画面が一番上に戻ってしまう挙動が起こってしまいます。（if文を使っているからか？）
この挙動が起きずに、仕様を実現するにはどうすれば良いでしょうか。
どなたかわかる方がいらっしゃいましたらご教示ください。

該当のソースコード

SwiftUI
1//ここに格納&削除されるようにしたい
2@State var list: [String]
3・・・
4
5//画面上部に戻らずに、想定しているボタン押下処理を実施したい
6ScrollView(.horizontal){
7     HStack{
8         ForEach([String]であるリスト, id: .self){ tag in
9              Button(action: {
10                    if let index = self.list.firstIndex(of: tag) {
11                        self.list.remove(at: index)
12                    } else{
13                        self.list.append(tag)
14                    }
15                    }){
16                        Text(tag)
17                            .font(.custom("HiraginoSans-W4", size: 12))
18                            .padding(5)
19                    }
20                       .background(self.list.contains(tag) ? Color.blue.cornerRadius(5) : Color.white.cornerRadius(2))
21              }
22        }
23  }