Pythonでコマンド実行した際の出力を，ファイルではなくソースコード内の変数にしたい

Question

環境
RaspberryPi3B+
Python 3.6(だったはず)

現在，次のようにしてAquestalkPiの出力wavを一旦ラズパイに外付けしたUSBに保存し
その後他の関数からファイルを呼び出して利用しています

os.system('./AquesTalkPi ' + text + ' > /mnt/usb1/output.wav')
source = discord.FFmpegPCMAudio("/mnt/usb1/output.wav")

この書き出し先をファイルではなく変数にする方法はありませんか？
os.systemはもう利用すべきではなくなっていて，subprocessを利用したほうがいいのは把握しているのですが，どう書いたらいいのかいまいちよくわからず困っています．

AquesTalkPiの使い方について：http://blog-yama.a-quest.com/?eid=970157

以下追記
wavファイルをAquesTalkPiで生成，discord内VCで再生

async def speakQueueLoop(self,speakQueue):
        while True:
            self.playNextQueue.clear()
            queueTop = await self.speakQueue.get()
            print(str(list(queueTop.keys())[0]))
            os.system('./AquesTalkPi ' + str(list(queueTop.keys())[0]) + ' > /mnt/usb1/output.wav')
            source = discord.FFmpegPCMAudio("/mnt/usb1/output.wav")
            (list(queueTop.values())[0]).play(source,after=self.toggle_next)
            await self.playNextQueue.wait()

def toggle_next(self,error):
        try:
            self.bot.loop.call_soon_threadsafe(self.playNextQueue.set)
        except Exception as e:
            print(e)

queueに追加するコード

await self.speakQueue.put_nowait({str(message.content):message.guild.voice_client})

Answer 1

discord を利用という事は非同期処理内のコードでしょうか？
別スレッドなのかどうかで、利用するモジュールが変わってきます。

• asyncio.subprocess
• subprocess

サブプロセスの出力をプログラム内で直接扱いたい場合は、
subprocess の引数に stdout=PIPE を指定します。

例: 戻り値のstdout属性にデータがバイト列で格納。

>>> subprocess.run(["ls", "-l", "/dev/null"], stdout=subprocess.PIPE)
CompletedProcess(args=['ls', '-l', '/dev/null'], returncode=0,
stdout=b'crw-rw-rw- 1 root root 1, 3 Jan 23 16:23 /dev/null\n')

• stdout=PIPE を指定する場合、subprocess.call は使えません
• プロセスの完了を待たず、少しずつ読み出しするには低水準APIの Popen を使う。

Comments

[Poly_Zeta]

そうです，非同期内のコードです
テキストチャットに書きこまれた文を読み上げるbotを作成しており
読み上げの必要があるものを都度queueに追加，
ループでqueueを監視して読み上げています

毎回ファイル生成とUSBへのIOで時間を食っていそうだったのでIOだけでも削れないかと質問しました
実行するコマンドを"./AquesTalkPi 対象テキスト"等に書き換えたとして
stdout=PIPEでも出力されるwavを拾って適当な変数に代入できるのでしょうか？

※質問文側にソースコード追記します

[teamikl]

非同期処理の場合は、
- タスク内で asyncio.create_subprocess_exec
- run_in_executor 内で subprocess

が選択肢ですが、
FFmpegPCMAudio は非同期ストリームを取れるような設計ではないので、
subprocess を直接使う方が良さそうです。

>適当な変数に代入できるのでしょうか？
実行環境が無いので試せませんが、エラー処理は省くと
>>> ret = subprocess.run(['./AquesTalkPi', text], stdout=subprocess.PIPE)
>>> wav = ret.stdout

FFmpegPCMAudio の扱いは解らないので、候補案のみ
- pipe=True で標準入力に渡す
- io.BytesIO() 等で包んで file-like オブジェクトとして渡す
- Popen も受け取れるかどうかは未確認。

もう少し改善できるポイントとしては、
同期処理だと、「wav出力が完了してから」FFmpegへ～なのでラグが少しありますが、
パイプで繋ぐことが出来れば、完了を待たずに次のサブプロセスを開始できます。
低水準API の Popenを使い、wavのデータを少しずつffmpegへ送る事で、省メモリ化も期待できます。
（但し、コードは複雑になり、コードの記述量は増えます）

FFmpegAudioの実装 が丁度良さそうな subprocess.Popen stdout=PIPE の利用例
https://github.com/Rapptz/discord.py/blob/3864fb37a0814345913c7ca4fd1978fa5e2ef7e2/discord/player.py#L120

[Poly_Zeta]

PCMAudioについてはここにあります
https://discordpy.readthedocs.io/ja/latest/api.html#ffmpegpcmaudio

同期のまま動くようにしようと考え，いくつかの方法を試しました．

とりあえずそのまま入れてみて

ret = subprocess.run(['./AquesTalkPi', str(list(queueTop.keys())[0])], stdout=subprocess.PIPE)
source = discord.FFmpegPCMAudio(ret.stdout,pipe=True)

としたところ，source = discord.FFmpegPCMAudio(ret.stdout,pipe=True)の部分について

AttributeError: 'bytes' object has no attribute 'fileno'

と返されました

次に，BytesIOとwaveを経由させてみて

ret = subprocess.run(['./AquesTalkPi', str(list(queueTop.keys())[0])], stdout=subprocess.PIPE)
fp=wave.open(BytesIO(ret.stdout))
source = discord.FFmpegPCMAudio(fp.readframes(fp.getnframes()),pipe=True)

としても，source = discord.FFmpegPCMAudio(fp.readframes(fp.getnframes()),pipe=True)について

AttributeError: 'bytes' object has no attribute 'fileno'

と返されます．

waveを外して

ret = subprocess.run(['./AquesTalkPi', str(list(queueTop.keys())[0])], stdout=subprocess.PIPE)
source = discord.FFmpegPCMAudio(BytesIO(ret.stdout)),pipe=True)

としたところ，今度はsource = discord.FFmpegPCMAudio(BytesIO(ret.stdout),pipe=True)について

io.UnsupportedOperation: fileno

と返りました．

以下に書いてあるのはわかるのですが，discord.FFmpegPCMAudio側の問題なのか調べてもよくわかりませんでした...
https://github.com/Rapptz/discord.py/issues/5192

[teamikl]

> とりあえずそのまま入れてみて
> 次に，BytesIOとwaveを経由させてみて

上２つは明らかに間違いです。

> source = discord.FFmpegPCMAudio(BytesIO(ret.stdout)),pipe=True)

は、私の(上のコメントを書いてた時点で）想定していたコードですが、
FFmpegPCMAudioクラス側が subprocessの stdin パラメータに直接渡そうとしているのが問題でした。
（ドキュメントには file-like オブジェクトを取れると書かれてるので、ライブラリ側の問題のようです）

discord.FFmpegPCMAudioクラス内で
NG: subprocess.Popen(..., stdin=BytesIO(ret.stdout)) 引数が間違い
OK: subprocess.Popen(..., stdin=PIPE) の後、communicate() で入力データを渡すのが正解

解決策は、その issue 内コメントのクラスを試してみてください。
バイト型オブジェクトをそのまま渡せるみたいです。

> If anyone needs a solution, use this modified FFmpegPCMAudio class:
～に完全な代替クラスの実装が掲載されてます。

使い方
source = FFmpecPCMAudio(ret.stdout, pipe=True)

[Poly_Zeta]

Popenに変えて試していたら動作しました，最終的には以下のようになりました

self.playNextQueue.clear()
queueTop = await self.speakQueue.get()
ret = subprocess.Popen(['./AquesTalkPi', str(list(queueTop.keys())[0])], stdout=subprocess.PIPE)
source = discord.FFmpegPCMAudio(ret.stdout,pipe=True)
(list(queueTop.values())[0]).play(source,after=self.toggle_next)
await self.playNextQueue.wait()

タイトルの質問に関係ない部分まで回答していただきありがとうございます！

[teamikl]

Popen で渡せたのなら、そちらの方が良い解決策です。

ffmpegの環境構築はしてなかったので、予想での回答になりましたが、

後、非同期処理内という事で懸念が一点。
もし、一連の同期処理のラグが問題になるようなら、
run_in_executor でバックグラウンドでの実行を検討してください。

完全に非同期のタスクとして処理したい場合は、FFmpegCPMAudio クラスは使えず、
独自に ffmpeg を asyncio.create_subprocess_exec (内部では subprocess.Popen)
を使って呼び出す事になります。

許容できる範囲のラグであれば問題ありませんが、
例えば時報が少しずれたり～等のラグに繋がる事があります。

[Poly_Zeta]

いまのところ応答自体はほぼ気にならない範囲ですが，何らかの原因でそういった点が問題になったら検討します，ありがとうございます