子カテゴリを指定している時は、親カテゴリの記事を表示せず子カテゴリの記事だけ表示する

前提・実現したいこと

wordpressでカスタムタクソノミー・カスタム投稿を使用したページを作成しています。
親カテゴリ・子カテゴリと設定していまして、サイドにトグル式でカテゴリ毎の記事一覧を表示したいです。
親カテゴリのみのもの、親子カテゴリ両方を指定しているものがあり、以下の様にループ中にループを記述する形でカテゴリの表示自体は何とかなりました。
ですが以下のままだと「親子カテゴリ両方を指定している時」にリストが2重になってしまいます。
「親カテゴリのみ」の時は「親カテゴリの記事を表示する」
「子カテゴリを指定している」時は「親カテゴリの記事を表示せず子カテゴリの記事だけ表示する」様にしたいです。
この様な形の実現方法をご存知の方がいらっしゃいましたら、どうかご教示下さい。

該当のソースコード

・テンプレートファイル

    <div class="test-li-wrap">
      <?php 
  $my_tax = 'taxname';  //取得したいタクソノミー名
  $parent_terms = get_terms( $my_tax, array('hide_empty' => false, 'parent' => 0) );  //第一階層のタームだけ取得
  if ( !empty( $parent_terms ) ) :
    echo '<ul class="test-nav">';

    foreach ( $parent_terms as $pt ) : 
      $pt_id = $pt->term_id;
      $pt_name = $pt->name;
      $pt_url = get_term_link($pt);
?>
      <li>
        <h3 class="toggle-down"><?php echo $pt_name; ?></h3>
        <ul class="test-menu02 test-child">
          <?php
            $custom_posts = get_posts(array(
              'post_type' => 'test-post', // 投稿タイプ
              'posts_per_page' => -1, // 表示件数
              'tax_query' => array(
                array(
                  'taxonomy' => 'taxname', //タクソノミーを指定
                  'field' => 'slug', //ターム名をスラッグで指定する
                  'terms' => $pt, //表示したいタームをスラッグで指定
                ),
              )
            ));
            global $post;
            if($custom_posts): foreach($custom_posts as $post): setup_postdata($post); ?>

            <li>
              <a href="<?php the_permalink(); ?>"><?php the_title(); ?></a>
            </li>
            <?php endforeach; wp_reset_postdata(); endif; ?>
          </ul>
        <?php 
          $child_terms = get_terms( $my_tax, array('hide_empty' => false, 'parent' => $pt_id) );
          if ( !empty( $child_terms ) ) :
            echo '<ul class="test-menu01">';

           //第2ループ
            foreach ( $child_terms as $ct ) : 
              $ct_id = $ct->term_id;
              $ct_name = $ct->name;
              $ct_url = get_term_link($ct);
        ?>
      <li>
                <h4 class="toggle-down"><?php echo $ct_name; ?></h4>
        <ul class="test-menu02">
          <?php
            $custom_posts = get_posts(array(
              'post_type' => 'test', // 投稿タイプ
              'posts_per_page' => -1, // 表示件数
              'tax_query' => array(
                array(
                  'taxonomy' => 'taxname', //タクソノミーを指定
                  'field' => 'slug', //ターム名をスラッグで指定する
                  'terms' => $ct, //表示したいタームをスラッグで指定
                ),
              )
            ));
            global $post;
            if($custom_posts): foreach($custom_posts as $post): setup_postdata($post); ?>

            <li>
              <a href="<?php the_permalink(); ?>"><?php the_title(); ?></a>
            </li>
            <?php endforeach; wp_reset_postdata(); endif; ?>
          </ul>
            </li>
        <?php
            endforeach;  //End : 第２ループ
            echo '</ul>';
          endif;
        ?>
      </li>
<?php
    endforeach;  //End : 第1ループ
    echo '</ul>';
  endif;
?>
    </div>