pythonを使って、ExcelでUTF-8のCSVファイルを文字化けせずに開きたい

Question

pythonでExcelでUTF-8のCSVファイルを文字化けせずに開くシステムを作っています。

ここに記載されていることを自動化したいです。
https://teachme.jp/contents/127194

標準テキストのエンコーディングを「UTF-16」に変更して、保存することは出来たので、エクセルで開くとA列に全て格納されているので、カンマ区切りの列で表示されるファイルにしたいです。

(例)
現状全てA列に配置されている
1,山田,神奈川,15歳,
2,田中,東京,18歳,
3,鈴木,埼玉,15歳,

これをカンマ区切りで別の列に配置したいです。
1 | 山田 | 神奈川 | 15歳 |
2 | 田中 | 東京 | 18歳 |
3 | 鈴木 | 埼玉 | 15歳 |

###現在のソースコード
import codecs

fin = codecs.open('sample.csv', 'r', 'utf-8')
fout = codecs.open('sample_utf.csv', 'w', 'utf-16')

for line in fin:
fout.write(line)

よろしくお願いします。

Answer 1

これが一番簡単ですかね

import codecs
import xlwt

book = xlwt.Workbook()
sheet = book.add_sheet('Sheet1')

with codecs.open('sample.csv', 'r', 'utf-8') as fin:
    for row, line in enumerate(fin):
        if line[len(line)-1] == '"':
                line = line[1:len(line)-1]
        else:
            line = line[1:len(line)-3]
        for col, d in enumerate(line.rstrip().rsplit(',')):
            if d.isdigit():
                sheet.write(row, col, int(d))
            else:
                sheet.write(row, col, d)
book.save("sample_utf.xls")

Comments

[katsuo_1223]

ありがとうございます。
こちらも目的を達成することができました。
codecsとxlwtのふたつを使ったやり方を提示して頂きありがとうございます。
大変勉強になりました。

Answer 2

（案１）
セパレータをカンマからTABに変更する

import codecs

fin  = codecs.open('data.csv', 'r', 'utf-8')
fout = codecs.open('data_utf.csv', 'w', 'utf-16')
for line in fin:
    line = line.replace(",","\t")
    fout.write(line)import codecs

私の環境ではこれで問題なく動作しておりますが、全ての環境にて「この方法」が使える裏づけが取れておりません。

（案２）
PythonのExcel書き込みライブラリを使って、直接 "xls"ファイルを作成する

PythonからExcel操作を行うライブラリは幾つかあるますが、今回は xlwt を使用しております。

import codecs
import xlwt

book = xlwt.Workbook()
sheet = book.add_sheet('Sheet1')

with codecs.open('data.csv', 'r', 'utf-8') as fin:
    for row, line in enumerate(fin):
        for col, d in enumerate(line.rstrip().rsplit(',')):
            sheet.write(row, col, d)

book.save("data.xls")

Comments

[katsuo_1223]

ありがとうございます。
ご教示いただいたどちらの案でも目的を達成することが出来ました。
案1が特に分かりやすかったです。

Answer 3

現状で文字化け対策はできています、問題は改行が無くなってしまったという事でしょうか？

import codecs

fin  = codecs.open('sample.csv', 'r', 'utf-8') 
fout = codecs.open('sample_utf.csv', 'w', 'utf-16')

for line in fin: 
    fout.write(line + "\n")

これでどうでしょうか？

Comments

[katsuo_1223]

ありがとうございます。
ご指摘の通り、すでに文字化け対策はできていたのですが、
改行ではなく、カンマ区切りでセルを分けて格納したかったのです。

Answer 4

Excel で開けるようにするだけなら元の UTF-8 の CSV に BOM を付けるだけででできないでしょうか？

import codecs

with open('sample.csv', 'r') as fin:
    with open('sample_utf.csv', 'w') as fout:
        fout.write(codecs.BOM_UTF8)
        fout.write(fin.read())

Comments

[katsuo_1223]

ありがとうございます。
実行したところ、下記のエラーが発生しました。

Traceback (most recent call last):
File "ファイル名.py", line 5, in <module>
fout.write(codecs.BOM_UTF8)
TypeError: write() argument must be str, not bytes