cp932 UnicodeDecodeError の解決法

Question

前提・実現したいこと

ここに質問の内容を詳しく書いてください。
Pythonでテキストマイニングをしようとしています。
形態素解析を実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

UnicodeEncodeError: 'cp932' codec can't encode character '\ufeff' in position 0: illegal multibyte sequence

該当のソースコード

----> 7 df_word_freq = fma.get_word_freq_from_document(file_doc='***.csv',pos=pos)
-----------------------------------------------------------------------------------------------------
~\:******\*****.py in get_word_freq_from_document(file_doc, pos)
　　 76     with open(file_doc, encoding='utf-8_sig') as data_file,  open(file_parsed, mode='w') as out_file:
     77         mecab = MeCab.Tagger()
---> 78         out_file.write(mecab.parse(data_file.read()))

試したこと

encoding='utf-8'と書いても encoding='utf-8_sig'と書いても同じエラーが起こってしまいます。

補足情報（FW/ツールのバージョンなど）

anaconda3
jupyter Notebook 6.3.0

Answer 1

出力時のエンコーディングにcp932が採用されて提示エラーが発生しているようです。
出力ファイル側にも`utf-8'なりのエンコーディングを指定してください。

Answer 2

utf-8_sigでも「'\ufeff' in position 0」になるということでしょうか。
不思議ですが、さしあたり当該ファイルをBOM無しUTF-8で保存し直してはどうでしょう。

Answer 3

https://kazusa-pg.com/python-detect-character-code/