CentOS7 Gitサーバ構築 Gitクローンでエラーが起きる

###質問
Gitクローンでエラーが起きる原因が知りたいです。
状況は下記に記載します。
漠然とした情報ばかりで申し訳ありませんが、
自分はこうやったら上手くいったよなど
これは試してみた？など
でもいいのでコメント頂けると助かります。
よろしくお願い致します。
(その他何かあればご指摘お願い致します)
###状況
VirtualBoxにCentOS7をインストールし、Gitサーバを構築しているのですが、
Gitリポジトリの作成まで完了し、ローカルPCからTortoiseGitでGitクローンを実行すると
エラーになってしまいます

git.exe clone --progress -v "ssh://gitユーザ名@IPアドレス/opt/git/XXX.git" "D:省略"
Cloning into 'D:省略'...
fatal: '/opt/git/XXX.git' does not appear to be a git repository
fatal: Could not read from remote repository.
Please make sure you have the correct access rights
and the repository exists.
gitは正常に終了しませんでした (終了コード 128) (4328 ms @ 2018/06/13 16:53:19)

###確認したこと
・ローカルPCからDOS窓を開いてSSH接続は可能
・サーバ側のsshサービスは起動している
・ファイアウォール有効/無効にしたがエラーになる
・tortoiseGit側で使用したsshクライアントは「C:\Program Files\Git\bin\sh.exe」または「C:\Program Files\TortoiseGit\bin\TortoiseGitPlink.exe」を使用してみた
・鍵の生成は「puttygen.exe」を使った
・公開鍵をサーバ側の /home/gituser/.ssh/authorized_keys に配置している
・クローン時にTortoiseGitPlink.exeを使用しているときはputty形式の秘密鍵指定はしている

###補足情報
$cat /etc/redhat-release
CentOS Linux release 7.5.1804

$git --version
git version 1.8.3.1

tortoiseGitのヘルプから↓
TortoiseGit 2.6.0.0
git version 2.14.1.windows.1