UTF-8の文字列をShift-JISに変換したい

データベースからの結果をExcelで開くためにShift-JISで保存したいです。

result = pandas.read_sql(sql=sql, con=conn)
data = result.to_csv(Index=False)
dataByte = data.encode(encoding = "utf-8", errors = "replace")
data2 = dataByte.decode(encoding = "shift_jis", errors = "replace")

出力されたCSVファイルをサクラエディタで開くと文字化けしています。
UTF-8で開いてもShift-JISで開いても、です。

data2 = result.to_csv(Index=False, encoding="shift-jis")

にするとUTF-8で保存されます。

実際にどのように文字化けするかは、今は開発環境に入れないので提示できなくて申し訳ありません。

クライアントのOSはWindows10、エクセルは2016です。
処理をしている環境は、AWS, Lambda, Python 3.8, Redshiftです。

どうかよろしくお願いいたします。

追記
どうもPythonだけの問題じゃなく、AWS S3周りかもしれません。
データベースからの結果をS3に保存しています。

obj = bucket.put_object(Body = instring, Key = path, ContentType = "text/comma-separeted-values;charset=shift-jis", ContentEncoding="shift-js"

と書いてもUTF-8で保存されます。

ppaul

2021/02/09 13:18

日本語の入ったUTF-8のcsvファイルをエクセルで開いてみたところ、普通に開けて日本語も読めました。 WindowsのShift-JISは、encoding="cp932"ですが、utf-8で文字化けするなら、cp932にしてもダメである可能性が高いです。 pandas.read_sqlで返ってきた結果がそもそも読めないのではないのではないでしょうか。 pandas.read_sqlの結果をpythoinで表示して読めるかどうかを確認してはいかがでしょうか。

lin.ming

2021/02/09 13:24

UTF-8で保存するとサクラエディタではUTF-8と認識して正常に読めます。エクセルでは文字化けします。 UTF-8でもBOM付きならエクセルで読めると書いてあるサイトを見ましたが、私の環境ではエクセルで文字化けします。

ppaul

2021/02/09 14:05

二つの方法で試してみてください。１ result.to_csv('output.csv', Index=False, encoding="utf_8_sig") 2 result.to_csv('output.csv', Index=False, encoding="cp932") どちらかがエクセルで開けるかもしれません。

CHERRY

2021/02/09 21:26

バージョンに依存すると思いますので、OS と Excel のバージョンを質問に追記してください。

lin.ming

2021/02/10 00:16

ppaulさんどちらもutf-8で保存した時と同じ文字化けがします。

行動規範の内容に同意します

回答1件

ベストアンサー

今のコードだと、文字列(data)をUTF-8でエンコードしてバイト列(dataByte)にして、
そのUTF-8のバイト列(dataByte)をSJISとして解釈(デコード)しようとしています(data2)。
なので、おかしくなっています。

また、DataFrame.to_csv()でデータフレームをCSVの文字列に変換されていますが、
文字列に変換する場合は encodings オプションは無効です。

シンプルに、文字列をSJISにエンコードして、それをS3にputすればよいのではないかと。

python
1result = pandas.read_sql(sql=sql, con=conn)
2data = result.to_csv(index=False)
3dataByte = data.encode(encoding='shift_jis', errors='replace')
4
5obj = bucket.put_object(Body=dataByte, ...)