write() argument must be str, not bytes を解決したい

Question

write() argument must be str, not bytes を解決したいです。

もともとpython2系で書かれていたコードをpython3で書き換えているのですが、途中でこのエラーで詰まってしまいました。

よろしくお願いします。

以下がそのコードです。

#%%
import time
import math
import sys
import argparse
import pickle
import codecs

import numpy as np
from chainer import cuda, Variable, FunctionSet
import chainer.functions as F
from CharRNN import CharRNN, make_initial_state

sys.stdout = codecs.getwriter('utf_8')(sys.stdout)

#%% arguments
parser = argparse.ArgumentParser()

parser.add_argument('--model',      type=str,   required=True)
parser.add_argument('--vocabulary', type=str,   required=True)

parser.add_argument('--seed',       type=int,   default=123)
parser.add_argument('--sample',     type=int,   default=1)
parser.add_argument('--primetext',  type=str,   default='')
parser.add_argument('--length',     type=int,   default=2000)
parser.add_argument('--gpu',        type=int,   default=-1)

args = parser.parse_args()

np.random.seed(args.seed)

# load vocabulary
vocab = pickle.load(open(args.vocabulary, 'rb'))
ivocab = {}
for c, i in vocab.items():
    ivocab[i] = c

# load model
model = pickle.load(open(args.model, 'rb'))
n_units = model.embed.W.data.shape[1]

if args.gpu >= 0:
    cuda.get_device(args.gpu).use()
    model.to_gpu()

# initialize generator
state = make_initial_state(n_units, batchsize=1, train=False)
if args.gpu >= 0:
    for key, value in state.items():
        value.data = cuda.to_gpu(value.data)

prev_char = np.array([0], dtype=np.int32)
if args.gpu >= 0:
    prev_char = cuda.to_gpu(prev_char)

if len(args.primetext) > 0:
    for i in unicode(args.primetext, 'utf-8'):
        sys.stdout.write(i)
        prev_char = np.ones((1,), dtype=np.int32) * vocab[i]
        if args.gpu >= 0:
            prev_char = cuda.to_gpu(prev_char)

        state, prob = model.forward_one_step(prev_char, prev_char, state, train=False)

for i in range(args.length):
    state, prob = model.forward_one_step(prev_char, prev_char, state, train=False)

    if args.sample > 0:
        probability = cuda.to_cpu(prob.data)[0].astype(np.float64)
        probability /= np.sum(probability)
        index = np.random.choice(range(len(probability)), p=probability)
    else:
        index = np.argmax(cuda.to_cpu(prob.data))
    sys.stdout.write(ivocab[index])

    prev_char = np.array([index], dtype=np.int32)
    if args.gpu >= 0:
        prev_char = cuda.to_gpu(prev_char)

print

出力は以下になります。

  File "sample.py", line 74, in <module>
    sys.stdout.write(ivocab[int(index)])
  File "/Users/***********/.pyenv/versions/anaconda3-4.1.1/lib/python3.5/codecs.py", line 377, in write
    self.stream.write(data)
TypeError: write() argument must be str, not bytes
コード

Comments

[SpencerGupton]

To fix this, you can encode the Unicode string as bytes before writing

python
index = np.argmax(cuda.to_cpu(prob.data))
character = ivocab[index]
sys.stdout.write(character.encode('utf-8'))
This will encode the Unicode character using UTF-8, giving us a byte string that sys.stdout.write() can accept.

The full fix would be:

python
index = np.argmax(cuda.to_cpu(prob.data))
character = ivocab[index]
sys.stdout.write(character.encode('utf-8'))

This encodes the character to bytes, resolving the TypeError and allowing the code to run correctly in Python 3. Hope this explanation and solution help

Answer 1

ivocab に文字列(str)でなくバイト列(byte)が入っているのが原因のようですから、36行目を下記のようにしてはどうでしょうか？

ivocab[i] = c.decode('utf-8')

Comments

[hay]

回答ありがとうございます！

書き換えて実行したところ以下のようになりました…。こちらも対処の仕方がわからないので、教えていただけないでしょうか？初心者なもので…

File "sample.py", line 36, in <module>
ivocab[i] = c.decode('utf-8')
AttributeError: 'str' object has no attribute 'decode'

[takeshi]

それでは、36行目の下記のようにしてはどうでしょうか？
if isinstance( c, str ):
ivocab[i] = c
else:
ivocab[i] = c.decode( "utf-8" )

[hay]

ありがとうございます。
度々失礼しますが、適用したところ以下のようなエラーメッセージが出てしまいました。

TypeError: write() argument must be str, not bytes

[hay]

すみません、takeshiさんのおっしゃるコードで良かったのですが、
14行目の
sys.stdout = codecs.getwriter('utf_8')(sys.stdout)
が悪さをしていました。

失礼しました、またありがとうございました。