【SQLServer】MERGE文で一時テーブルから差分データのみを更新したい

ストアドプロシージャにて一時テーブルを作成し、一時テーブルに登録/更新/削除した
データを別の物理テーブルに反映したいです。
物理テーブルに対しては複数ユーザーから登録/更新/削除される可能性があり、
複数ユーザーからの登録されることを考慮して整合性を保つ必要があります。

MERGE文で実現しようと思っているのですが、良いSQLが思い浮かばないので、
何か助言を頂きたく、質問させて頂きました。

プロシージャ内の処理としては以下の様なイメージです。
【前提】
物理テーブル：ABC_TBL
ストアドプロシージャ内で作成する一時テーブル：XXX_TBL

　（1）ストアドプロシージャ内で、物理テーブルABC_TBLと同じ定義の一時テーブルXXX_TBLを作成する。
（2）一時テーブルXXX_TBLに対して、データの登録/更新/削除を行う。
（3）（2）で登録/更新/削除を行ったデータを、ABC_TBLに反映する。

【作成したSQL】

MERGE INTO ABC_TBL AS a
USING (SELECT AAA,
		BBB,
		CCC
       FROM #XXX_TBL
	   ) AS b 
--判定条件
ON (
	a.AAA = b.AAA
	AND a.BBB = b.BBB
	AND a.CCC = b.CCC)
--判定条件に当てはまるレコードが存在する場合の処理（UPDATE)
WHEN MATCHED THEN
UPDATE SET 
	AAA = b.AAA
	AND BBB = b.BBB
	AND CCC = b.CCC
--判定条件に当てはまるレコードが存在しない場合の処理（INSERT)
WHEN NOT MATCHED THEN
INSERT (AAA,
		BBB,
		CCC)
VALUES (b.AAA,
		b.BBB,
		b.CCC)
--判定条件に当てはまるレコードが判定元に存在するかつ、判定先テーブルに存在しない場合の処理（DELETE)
WHEN NOT MATCHED BY SOURCE THEN
DELETE
;

【問題点】
このSQLでは複数ユーザーが同時実行した場合に、正しくデータが更新されない。
例えば、ユーザーAが処理を実行し、ユーザーAの処理が終わる前にユーザーBが処理を実行した場合、
ユーザーAが更新した内容がコミットされる前の状態で一時テーブルを作成するため、
ユーザーAの更新内容をユーザーBの更新で上書きしてしまいます。
ユーザーAの更新内容は保持したまま、Bの更新内容を反映したいです。
諸事情によりプロシージャの作りの見直しや、トランザクションの見直しが出来ないため、
SQLで実現出来ないかと思っています。