python txt csv 変換 エラー

Question

前提・実現したいこと

空白で仕切られた.txtファイルを.csvファイルに変換するようなプログラムを書いています．
google colaboratoryにて問題なく実行したのですが，jupyterで実行したときにエラーが発生しました．
エラーについて調べてみましたが，修正方法がよくわからないので質問させていただきました．

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-4-3936435c8d92> in <module>
     16 if __name__ == "__main__":
     17     filename = input("変換したいファイル名を入力してください")
---> 18     text_csv_converter(filename)

<ipython-input-4-3936435c8d92> in text_csv_converter(datas)
      6         with open(datas)as rf:
      7             with open(file_csv, "w",encoding="utf-8")as wf:
----> 8                 readfile = rf.readlines()
      9                 for read_text in readfile:
     10                     read_text = read_text.split()

UnicodeDecodeError: 'cp932' codec can't decode byte 0x8a in position 29: illegal multibyte sequence

該当のソースコード

import csv

def text_csv_converter(datas):  
    file_csv = datas.replace("txt", "csv")
    try:
        with open(datas)as rf:
            with open(file_csv, "w",encoding="utf-8")as wf:
                readfile = rf.readlines()
                for read_text in readfile:
                    read_text = read_text.split()
                    writer = csv.writer(wf, delimiter=",")
                    writer.writerow(read_text)
    except FileNotFoundError:
        print("ファイル名が存在しないかパスが異なります．")

if __name__ == "__main__":
    filename = input("変換したいファイル名を入力してください")
    text_csv_converter(filename)

試したこと

openの引数にencoding="utf-8"を入れてみましたが変わりませんでした．

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[meg_]

> 空白で仕切られた.txtファイル
文字コードは何ですか？

[退会済みユーザー]

UTF-8です．

[toast-uz]

with open(datas)as rf の引数にencoding="utf-8"を入れても、全く同じエラーでしょうか？

[退会済みユーザー]

数字はうまく反映されましたが，文字に関しては文字化けしてしまいます．

Answer 1

with open(datas, "r", encoding="utf-8")as rf:
with open(file_csv, "w")as wf:
で解決しました．"w"で書くときはutf-8にしないほうがよいのですね．エンコーディングなかなか難しいです．

Comments

[TakaiY]

「書くときにUTF-8にしないほうがよい」というのは違います。指定しなければ、Windowsで動かせばShift-JISになり、google colaboratoryであれば、たぶん、UTF-8になるでしょう。
出力した結果がどのようになるべきなのかをちゃんと考えて、どのような文字コードで出力するか考えるべきだと思います。

[toast-uz]

質問文は「エラーを解消したい」なのに、書き込みの文字コードまで思い通りになったのが正解って、うーん・・・という感じです。しかも、もとのtxtはUTF-8だけど、書き込みは環境依存にしたいなんて、質問文からは全く読み取れません。

Answer 2

pythonはopen関数でファイルを開くとき、OSに応じてデフォルトの文字コードを決定します。Windowsの場合は、 cp932(Shift-JIS)になります。

google colaboratoryでうまく行ったのはデフォルトがUTF-8なのでしょう。

with open(datas,'r',encoding="utf-8")as rf:

としてみたらどうでしょうか。

Comments

[退会済みユーザー]

数字に関してはうまくいきました．しかし，文字に関しては文字化けしてしまいました．この原因は何でしょうか．