seabornでannot=Trueとすると値表示にplt.xlim,plt.ylimが適応されない

Question

###困っていること
コード全体は載せませんが、以下のようにプロットすると、annot=Trueによって画像のように表示していない部分の値まで表示されてしまいます。
depthを初めからxlim,ylimの値でスライスして渡せば解決するとは思うのですが、これに重ねてプロットする都合上、あまりしたくありません。もし他の解決方法をご存知でしたら教えてください。

sns.heatmap(depth,vmin=0,cmap="Blues",annot=True)
plt.xlim(17,25)
plt.ylim(31,39)