テキストからエンコードできない文字列を一括で削除する方法

Question

####　現象
あるテキストデータの書き出しを行おうとした際に以下のエラーが出力されます。

#ファイル書き込み
with open("text.txt", 'wt') as f:
    f.write(data)

UnicodeEncodeError                        Traceback (most recent call last)
<ipython-input-98-63a7acf2db25> in <module>
      1 #ファイル書き込み
      2 with open("text.txt", 'wt') as f:
----> 3     f.write(data)
      4 
      5 #ファイル読み込み

UnicodeEncodeError: 'cp932' codec can't encode character '\xb7' in position 2415: illegal multibyte sequence

####試したこと
該当のテキストデータから'\xb7'を削除する

data = data.replace('\xb7','')
with open("text.txt", 'wt') as f:
    f.write(data)

UnicodeEncodeError                        Traceback (most recent call last)
<ipython-input-104-63a7acf2db25> in <module>
      1 #ファイル書き込み
      2 with open("text.txt", 'wt') as f:
----> 3     f.write(data)
      4 
      5 #ファイル読み込み

UnicodeEncodeError: 'cp932' codec can't encode character '\u1d55' in position 3423: illegal multibyte sequence

次々とエンコードできないものが出てきてしまい・・・
replaceで一つ一つ消していく以外に一気に取り除く方法はないでしょうか？

print(re.findall('\u1d55',data))
>>>['ᵕ', 'ᵕ', 'ᵕ', 'ᵕ', 'ᵕ', 'ᵕ', 'ᵕ', 'ᵕ', 'ᵕ', 'ᵕ', 'ᵕ', 'ᵕ', 'ᵕ', 'ᵕ']

Comments

[pepperleaf]

なぜ、エンコードできないデータがあるのでしょうか?
まずは、そこからでは。

[meg_]

"text.txt"の文字コードは何でしょうか？

Answer 1

with open("text.txt", 'wt', encoding='UTF-8') as f:
```UTF-8に指定してあげればいいのでは？

Comments

[CookieM]

いただいた内容で解決することができました。
ありがとうございました。