前提・実現したいこと

お世話になります。

PowerShellでiperf3というコンソールアプリケーションの通信ソフトを動作させております。
送受信するPCを2台用意し受信側の結果に1行1行文字列が表示されるタイミング(可変できますがdefaultは1秒間隔で更新されます）でそのPCのタイムスタンプを追加したいと思っています。

iperf3自体にはタイムスタンプを残す機能がなく、結果が順に1行1行表示されるタイミングでパイプの機能
を使って時刻追加ができないかと思っていますが実現できていません。

（方法としてはパイプでなくても構わないのですが、何とか時刻と文字列が表示されたタイミングを結び付けたいと思っています。）

試したこと

色々と調べてパイプで渡すことを考え、その時間を追加するようにしました。
ping 192.168.0.1 |foreach-object {(get-date -f "[yyyy/MM/dd HH:mm:ss.ff] ") + "$_"}
の場合は文字列が追加されるタイミングで時間も取得でき、きちんと動作しました。
■結果
[2020/12/14 11:03:05.49] Pinging 192.168.0.100 with 32 bytes of data:
[2020/12/14 11:03:05.49] Reply from 192.168.0.100: bytes=32 time<1ms TTL=128
[2020/12/14 11:03:06.48] Reply from 192.168.0.100: bytes=32 time<1ms TTL=128
[2020/12/14 11:03:07.48] Reply from 192.168.0.100: bytes=32 time<1ms TTL=128
[2020/12/14 11:03:08.48] Reply from 192.168.0.100: bytes=32 time<1ms TTL=128

iperf3に置き換えた場合は時間は都度1行1行表示されたタイミングで追加されるのではなくiperf3での送受信が完了するタイミング毎にまとめて追加される形になります。この為、時間はその処理が完了した時間とほぼ同じになるだけになってしまいます。

./iperf3.exe -s |foreach-object {(get-date -f "[yyyy/MM/dd HH:mm:ss.ff] ") + "$_"}
■結果(この例だと1秒間隔で表示されている部分も完了したであろう時間の11:07辺りで同じになってしまう）
[2020/12/14 11:07:47.72] -----------------------------------------------------------
[2020/12/14 11:07:47.72] Server listening on 5201
[2020/12/14 11:07:47.72] -----------------------------------------------------------
[2020/12/14 11:07:47.72] Accepted connection from 192.168.0.200, port 63843
[2020/12/14 11:07:47.72] [ 5] local 192.168.0.100 port 5201 connected to 192.168.0.200 port 63844
[2020/12/14 11:07:47.72] [ ID] Interval Transfer Bandwidth
[2020/12/14 11:07:47.72] [ 5] 0.00-1.00 sec 109 MBytes 913 Mbits/sec
[2020/12/14 11:07:47.72] [ 5] 1.00-2.00 sec 112 MBytes 940 Mbits/sec
[2020/12/14 11:07:47.72] [ 5] 2.00-3.00 sec 112 MBytes 938 Mbits/sec
[2020/12/14 11:07:47.73] [ 5] 3.00-4.00 sec 112 MBytes 942 Mbits/sec
[2020/12/14 11:07:47.73] [ 5] 4.00-5.00 sec 112 MBytes 942 Mbits/sec
[2020/12/14 11:07:47.74] [ 5] 5.00-5.03 sec 3.36 MBytes 935 Mbits/sec
[2020/12/14 11:07:47.74] - - - - - - - - - - - - - - - - - - - - - - - - -
[2020/12/14 11:07:47.74] [ ID] Interval Transfer Bandwidth
[2020/12/14 11:07:47.74] [ 5] 0.00-5.03 sec 0.00 Bytes 0.00 bits/sec sender
[2020/12/14 11:07:47.74] [ 5] 0.00-5.03 sec 561 MBytes 935 Mbits/sec receiver

補足情報（FW/ツールのバージョンなど）

環境：
OS:Windows10 Professional
PowerShell:v7.1
動作アプリケーション：iperf3 v3.1.3
（https://iperf.fr/iperf-download.php#windows）

行動規範の内容に同意します

回答1件

ベストアンサー

TL;DR

3.1.5 以降の新しい iperf3.exe を入手して、 --forceflush オプションつきで実行して下さい。

詳細

これは 標準出力のバッファリング 動作によって生じている現象かと思われます。バッファリングの概念が分からない場合、別途解説記事等 (簡単なものであればこのあたり) で調べて頂きたいのですが、簡単に言うと、出力するデータを効率的に受け渡すために、 逐一吐き出すのではなく、ある程度メモリに溜め込んでおき、後で何らか適当なタイミングに一気に吐き出す 仕組みのことです。

Windows のコンソールアプリケーションの場合、出力先がコンソールであればバッファリングされずに (unbuffered) 逐次出力が表示される一方、 それ以外の (今回のパイプで別の処理に渡すような) 場合、デフォルトでは出力がバッファリングされる (fully-buffered) ため、パイプ後続のプログラムはバッファが満杯になるか、あるいは前段のプログラムが明示的な flush 操作 (出力バッファの中身を強制的に吐き出す操作) を行うまでは、出力を受け取ることができません。結果、 iperf3.exe (3.1.3) であれば各テスト後の flush が実行されるまで出力が受け取れないことになり、御提示のような「ForEach-Object 処理が全ての行に同じタイムスタンプを付ける」現象へと繋がります。

※ 尚、より厳密に申し上げれば、 PowerShell の native command が絡む pipeline の実装はもう少し複雑で、パイプ前後のプログラムだけでなく、間に PowerShell 自身が入ってバッファリングや文字コード変換を行っているようなのですが、少なくとも今回のような "native -> PS" のパイプに関しては、上記の通りの素朴な認識で問題ないかと存じます

さて、そういうわけで仰るような動作を実現したい場合、 iperf3.exe の標準出力バッファリングを無効にする必要が有るのですが、残念ながら私の知る限りでは、 Windows でこれをプログラム外部から (Linux で言う stdbuf コマンドのように) 設定する方法は存在しません。ただ幸いなことに、実は iperf 3.1.5 以降では --forceflush という、まさに今回の目的のためのオプションが実装されて おりますので、これを有効にするだけで目的は達成できるかと存じます。 3.1.3 はもう四年も前の古いバージョンですし、この機会に 新しいバージョンのバイナリをビルドするなりして入手して、 --forceflush オプション付きで使う のが良いのではないでしょうか。

或いは、どうしても 3.1.3 を使いたい場合や、 iperf 以外にも応用したい場合、その他の解法として 仮想的なコンソールを開き、その上で iperf3.exe を実行させてやる という方法も無いわけではありません。つまり、「出力先がコンソールでない場合にバッファリングが有効になってしまう」のなら、「出力先を (こちらの制御下の) コンソールにして実行させてしまえば良い」ではないか、という発想です。

もちろん、そんなことを行うためには別途そのためのプログラムを実装しなければなりませんが、例えば Python で wexpect という (本来は、コンソールに対して対話的なキー入力操作を求めるプログラムを自動操作するための) モジュールを利用すると、以下のように比較的簡単に実現することが可能です。

python
1# expect_wrapper.py
2import wexpect
3
4p = wexpect.spawn(r'.\iperf3.exe -s')
5
6for line in iter(p.readline, ''):
7    print(line.rstrip())

もちろん、このプログラム自体が出力をバッファリングしてしまっては意味がないので、 -u スイッチを付けて以下のように実行する必要が御座います。

powershell
1python -u .\expect_wrapper.py | ForEach-Object {(Get-Date -f "[yyyy/MM/dd HH:mm:ss.ff] ") + "$_"}

恐らく、同じことは PowerShell の cmdlet として自前で実装することも可能なのでしょうが、調べる限りではここまで簡単に利用できそうなモジュールは見当たりませんでした。どうしても PowerShell で完結させたい、かつ御時間に余裕が有る、という場合は自前でチャレンジしてみても良いやも知れません。

投稿2020/12/14 09:52

argparse

総合スコア1017

k2etemjin

2020/12/15 02:18 編集

現在の最新VersionであるVer.3.9のバイナリを用意したところ、--forceflushを使う事で解決できました。これで先へ進めます。こちらの件、重要な案件で必要な内容だった為、非常に丁寧に説明していただき大変助かりました。またこれ以外にも解決策の提示をしていただき非常に興味深くこちらも理解したいので調査していこうと思います。ありがとうございました。

行動規範の内容に同意します