回答編集履歴

  より確実かもしれないのはラズパイにUSB接続の有線LANを付けて有線LAN接続のみにすることです。(だたし追加の機器が必要になりますし、せっかく追加投資してもこれで解決するということを保証するわけではありません。)

  これでうまくいかなければルーターでなくラズパイ側の問題であろうと絞り込むことは出来ます。