subprocessでのエラー(TypeError: a bytes-like object is required, not 'str')

Question

タイトルのエラーが発生します

関係があるところのコードをのせます

tokenizer_cmd = ['./tokenizer.perl', '-l', 'en', '-q', '-']


def tokenize(sentences):

    print('Tokenizing..', end=' ')
    text = "\n".join(sentences)
    tokenizer = Popen(tokenizer_cmd, stdin=PIPE, stdout=PIPE, shell=True)
    tok_text = tokenizer.communicate(text)  #もともとはtok_text, _  
    toks = tok_text.split('\n')[:-1]
    print('Done')

    return toks

def build_dict(path):
    sentences = []
    currdir = os.getcwd()
    os.chdir('%s/pos/' %path)
    for ff in glob.glob("*.txt"):
        with open(ff, 'r') as f:
            sentences.append(f.readline().strip())
    os.chdir('%s/neg/' %path)
    for ff in glob.glob("*.txt"):
        with open(ff, 'r') as f:
            sentences.append(f.readline().strip())
    os.chdir(currdir)

    sentences = tokenize(sentences)


def main():
    path = dataset_path
    dictionary = build_dict(os.path.join(path, 'train'))

if __name__ == '__main__':
    main()

エラーは以下の通りです

Traceback (most recent call last):
  File "imdb_preprocess.py", line 134, in <module>
    main()
  File "imdb_preprocess.py", line 112, in main
    dictionary = build_dict(os.path.join(path, 'train'))
  File "imdb_preprocess.py", line 64, in build_dict
    sentences = tokenize(sentences)
  File "imdb_preprocess.py", line 44, in tokenize
    tok_text = tokenizer.communicate(text)  #もともとtok_text, _  
  File "C:\Users\ユーザ名\Anaconda3\envs\py3.5\lib\subprocess.py", line 803, in communicate
    stdout, stderr = self._communicate(input, endtime, timeout)
  File "C:\Users\ユーザ名\Anaconda3\envs\py3.5\lib\subprocess.py", line 1039, in _communicate
'.' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。
    self._stdin_write(input)
  File "C:\Users\ユーザ名\Anaconda3\envs\py3.5\lib\subprocess.py", line 741, in _stdin_write
    self.stdin.write(input)
TypeError: a bytes-like object is required, not 'str'

読み込みの仕方を変えたりしたのですが、いまいちわかりませんでした
教えていただければ幸いです

Answer 1

環境がわかりませんが、プロンプトから

./tokenizer.perl -l en -q -

とタイプすると実行できるんですか?

. というコマンドを /tokenizer.perl -l en -q -というオプションで実行しろ、という解釈になっているように見えますが。

---

そもそも実行できないコマンドを指定しても、実行できませんね。当たり前ですが。

---

TypeError: a bytes-like object is required, not 'str'のエラーはこちらですね。

https://docs.python.jp/3.6/library/subprocess.html#subprocess.Popen

If encoding or errors are specified, (略) Otherwise, they are opened as binary streams.

と

https://docs.python.jp/3.6/library/subprocess.html#subprocess.Popen.communicate

If streams were opened in text mode, input must be a string. Otherwise, it must be bytes.

から、Popenをencoding=付きで作るなどしないと、communicateに渡すのはbytes型である必要がありますね。

Comments

[kohekoh]

windows上のanacondaでやってます

実行すると
'.' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。
このようになりますね…

[kohekoh]

とりあえず強引にbyte型に変えたら
一応進みました
ありがとうございました