【diffコマンド】リモートホスト間でディレクトリ同士の差分を確認したい

リーモートホスト間でdiffコマンドの実行はできるでしょうか？
/etc/ssh等のディレクトリ同士の差分を確認したいです。

回答いただきたいこと
①リモートホスト間でdiffコマンドをディレクトリに対して実行できるか？
②-1 使用できる場合、実行例をご教示いただけますと幸いです。
②-2 使用できな場合、どのような方法があるでしょうか？
※情報不足や、根本的な考え方を誤っておりましたらご教示いただけますと幸いです。

試してみていることは下記の通りです。

■試みてみたリーモート間diff（失敗）

$ diff -r my@192.aa.aa.aaa:/etc/ssh/ my@192.bb.bb.bbb:/etc/ssh/
diff: my@192.aa.aa.aaa:/etc/ssh/: No such file or directory
diff: my@192.aa.bb.bbb:/etc/ssh/: No such file or directory

■リモートからローカルにscp（コピー自体はいける）

$ scp -r my@192.aa.aa.aaa:/etc/ssh/ home/
my@192.aaa.aa.aaa's password:
ssh_host_aaa_key.pub                                                                                                                   100%   93    65.6KB/s   00:00
ssh_import_id                                                                                                                              100%  342  195.9KB/s   00:00
scp: /etc/ssh/ssh_host_dsa_key: Permission denied
ssh_host_ecdsa_key.pub                                                                                                                     100%  173   131.1KB/s   00:00
scp: /etc/ssh/ssh_host_aaa_key: Permission denied
sshd_config                                                                                                                                100% 3316     1.8MB/s   00:00
ssh_config                                                                                                                                 100% 1603   877.0KB/s   00:00
scp: /etc/ssh/ssh_host_ecdsa_key: Permission denied
scp: /etc/ssh/ssh_host_rsa_key: Permission denied
moduli                                                                                                                                     100%  523KB  11.5MB/s   00:00
ssh_host_dsa_key.pub                                                                                                                       100%  601   347.7KB/s   00:00
ssh_host_rsa_key.pub

■ローカルでdiff(成功)

$ diff home/testtest home/testtest2
diff home/testtest/test.txt home/testtest2/test.txt
1c1
< qqq
---
> qqqw
\ No newline at end of file
Only in home/testtest: v4.txt
Only in home/testtest2: v3.txt