SlimFramework 3のミドルウェアでリクエスト, レスポンスを書き換えたい

こんな感じでしょうか。
テストしてはいませんが、恐らく動くと思います。

namespace app\mw;
namespace app\helper;

use Psr\Http\Message\ServerRequestInterface as Request;
use Psr\Http\Message\ResponseInterface as Response;
use Slim\Http\Body; // 追加

class HogeMiddleware {
    // コードの動作とは無関係だが、アクセス修飾子 public を明記
    // 見間違えなどがあるかもしれないので、どちらかといえば書いたほうが良い
    // ただし、（publicの場合は）省略しても動作に影響はない
    public function __invoke(Request $request, Response $response, $next) {
        if (helper::isCSV($request->getBody()->getContents())) {
            $csv = helper::toJSON($request->getBody()->getContents());

            /*
             * リクエストを書き換え
             *
             * @see https://github.com/slimphp/Slim/blob/3.x/Slim/Handlers/NotFound.php#L54-L59
             * @see https://github.com/slimphp/Slim/blob/3.x/Slim/Http/RequestBody.php#L21
             */
            $body = new Body(fopen('php://temp', 'w+'));
            $body->write($csv);
            $request = $request->withBody($body);
        }

        $response = $next($request, $response);

        if (helper::isJSON($response->getBody()->getContents())) {
            $json = helper::toCSV($response->getBody()->getContents());

            /*
             * レスポンスを書き換え
             *
             * @see https://github.com/slimphp/Slim/blob/3.x/Slim/Handlers/NotFound.php#L54-L59
             * @see https://github.com/slimphp/Slim/blob/3.x/Slim/Http/Response.php#L127
             */
            $body = new Body(fopen('php://temp', 'r+'));
            $body->write($json);
            $response = $response->withBody($body);
        }

        return $response;
    }
}

リクエストやレスポンスのbodyを取得するためにはgetBodyメソッドを使いますが、書き換える場合はwithBodyメソッドを使います。

このメソッドの引数には、文字列ではなくStreamInterfaceのインスタンスを指定しなくてはなりません。
SlimではこれをSlim\Http\Bodyクラスで提供しているため、このクラスを引数に指定すればbodyを書き換えられます。
が、このSlim\Http\Bodyクラスも引数に文字列ではなくPHPのストリームを指定し、肝心のbodyはwriteメソッドで書き込む必要があるため、少々ややこしい事になっています。

SlimのSlim/Handlers/NotFound.phpでは、レスポンスの書き換えをおこなうコードを以下のように実装しています。
変数$outputに、レスポンスのbodyを上書きする文字列が格納されています。

$body = new Body(fopen('php://temp', 'r+'));
$body->write($output);
return $response->withStatus(404)
                ->withHeader('Content-Type', $contentType)
                ->withBody($body);

このコードを簡単に説明すると、fopen('php://temp', 'r+')でストリームを生成してSlim\Http\Bodyクラスの引数に渡した後、
writeメソッドで変数$outputの内容をbodyとして書き込んでいます。
レスポンスのbodyの書き換えはこれをパクりました。

$body = new Body(fopen('php://temp', 'r+'));
$body->write($json);
$response = $response->withBody($body);

リクエストの場合も、withBodyメソッドを利用する点は変わりません。
多分、レスポンスの場合と同じコードで動作するハズです。

…が、この回答では一応のため、Slimがリクエストのbodyを生成している内部処理と同じコードにしました。
レスポンスのコードと異なるのは、fopen関数の第二引数の値です。'r+'から'w+'に変更しています。

$body = new Body(fopen('php://temp', 'w+'));
$body->write($csv);
$request = $request->withBody($body);

（ストリームとして使うなら、r+もw+も変わらないと思いますが、ストリーム関係の動作にはあまり詳しくないので、確証を持って「r+もw+も同じだ」と言い切ることが出来ません…）

なお、肝心なことですが、Slimが採用しているPSR-7のServerRequestInterfaceやResponseInterfaceは不変オブジェクトです。
StreamInterface（getBodyメソッドで取得できるオブジェクト）を除き、メソッドを実行しただけではオブジェクトそのものの状態（オブジェクトの値）が変化せず、そのメソッドの返り値である「状態が変化したオブジェクト」を利用しなくてはなりません。

このため、withBodyなどのメソッドが返す値のオブジェクトを次に渡す必要があります。
このコードでは以下のように変数に再代入して次に渡しています。
誤って再代入を忘れると、bodyが上書きされません。

// 正しい記述
$response = $response->withBody($body);

// 間違えてこうするとbodyが変わらない
$response->withBody($body);

詳細は以下をどうぞ。

• Psr7を使ってみた（というか不変オブジェクトを初めて使った感想） - Qiita