php内でHTMLとワードプレスタグの混在ソースを正しく吐き出したい

ワードプレスを使用しています。
サイトのロゴをif文を使ってトップページならh1タグそれ以外ならpタグで画像を表示させたいです。

下記のやり方でif文を使い表示させることはできました。

<?php
	if( is_home()) {
		echo "<h1 class=\"logo\"><a href=\"";
		bloginfo('url');
		echo "\"><img src=\"";
		bloginfo('template_url');
		echo "/image/common/logo.png\" alt=\"サイト名\"></a></h1>";
	} else {
		echo "<p class=\"logo\"><a href=\"";
		bloginfo('url');
		echo "\"><img src=\"";
		bloginfo('template_url');
		echo "/image/common/logo.png\" alt=\"サイト名\"></a></p>";
	}
?>

ただ、これだと改行が多く、ソースも汚いので、下記のやり方に変えてみました。

<?php
	if( is_home()) {
		echo "<h1 class=\"logo\"><a href=\"".bloginfo('url')."\"><img src=\"".bloginfo('template_url')."/image/common/logo.png\" alt=\"サイト名\"></a></h1>";
	} else {
		echo "<p class=\"logo\"><a href=\"".bloginfo('url')."\"><img src=\"".bloginfo('template_url')."/image/common/logo.png\" alt=\"サイト名\"></a></p>";
	}
?>

しかし、この場合下記のようにワードプレスタグで読み込んだURLがHTMLタグの外に追いやられてしまい、
URLだけがテキストとして表示されます。

https://hogehoge.jphttps://hogehoge.jp/wp/wp-content/themes/test<p class="logo"><a href=""><img src="/image/common/logo.png" alt="サイト名"></a></p>

「.bloginfo('url').」と「.bloginfo('template_url').」を外して、手打ちでURLを打ち込んだ場合はきちんと表示されるので、
あとは「.bloginfo('url').」と「.bloginfo('template_url').」の接続のしかただけだと思っています。
どのように書けばいいのか、ご教授をお願い致します。