python3.5 環境で utf-8 to cp932 への文字コード変換ができない

Question

前提・実現したいこと

s3 にあるファイルを文字コード変換して別オブジェクトとして保存したい。

発生している問題・エラーメッセージ

エラーにはならないものの、文字コードが utf-8 のままで変換が行われない。

該当のソースコード

# -*- coding: utf-8 -*-

import os
import sys
import codecs
import boto3
from io import StringIO

def main():
    bucketname = 's3_bucket'

    filepath = 'MONTHLY_DATA/2020/202002'
    srcname = 'utf8_202002.csv'
    dstname = 'cp932_202002.csv'

    s3 = boto3.client('s3')
    obj = s3.get_object(Bucket=bucketname, Key=os.path.join(filepath, srcname))
    body = obj['Body']

    encoded = codecs.encode(body.read().decode('utf-8'), 'cp932')
    decoded = codecs.decode(encoded, 'cp932')

    out_buffer = StringIO(decoded)
    s3_resource = boto3.resource('s3')
    s3_resource.Bucket(bucketname).put_object(
        Key=os.path.join(filepath, dstname),
        Body=out_buffer.getvalue(),
        ContentEncoding='text/csv; charset=cp932'
    )

試したこと

    src_codec = codecs.lookup("utf-8")
    dst_codec = codecs.lookup("cp932")
    stream = codecs.StreamRecoder(
        StringIO(body.read().decode('utf-8')),
        dst_codec.encode, src_codec.decode,
        src_codec.streamreader, dst_codec.streamwriter
    )
    reader = codecs.StreamReader(stream)

    out_buffer = StringIO()
    for line in reader.readline():
        out_buffer.write(line)

のようにもしてみましたが、readline のエラーが解消されず断念。

補足情報（FW/ツールのバージョンなど）

python のバージョンは 3.5 です。

Answer 1

        Body=out_buffer.getvalue(),

は

        Body=encoded,

でいいんじゃないでしょうか?

---

    encoded = codecs.encode(body.read().decode('utf-8'), 'cp932')

でShiftJISのバイトデータを作ったあとに

    decoded = codecs.decode(encoded, 'cp932')

バイトデータを"ShiftJISだと思って文字列にしなさい"とやって元に戻してますよね。

Comments

[M.O.]

ありがとうございます。
おっしゃるとおり、せっかく encode したものを戻してしまっていました。
解決しました！