Pytorchで多層Bidirectional LSTMを実装したい

Question

私は下の画像のようなモデルをPytorchで実装したいです。

試したこと
私は持っている知識でこのようなモデル⇓

import torch.nn as nn

LSTM = nn.LSTM(3, 3, 2, bidirectional=True) # input and hidden sizes are example. it doesn't have to be 3.

を実装しましたがこれだと下のようなモデルになっていて間違っている事に気づきました。

聞きたいこと

• 私の解釈が合っているか。
• 正しいモデル（最初に提示したもの）のPytorchでの実装方法。

よろしくおねがいします。