【WordPress】カテゴリー名から正規表現で001等の文字列を削除して出力したい

前提として

WordPressで既に他の人によって構築されているサイトに手を加える作業です。
プラグインを使う予定はありません。

やりたいこと

リンク付きカテゴリーリストを任意の順番で表示したいのですが
元々のソースがちょっと複雑で
'orderby' 'order'を単純に指定することが自分の力量では難しいので
ループ内で表示順を制御するのを諦めて
カテゴリー名の頭に001等の追番をふって番号順に出力し、
出力時に正規表現を使って番号のみ削除できないかと考えました。

（そういった方法で構築されているサイトを見たことがあるのと、
同様のことができるプラグインもあるようです。）

if ( is_category( 'sample' ) || is_tax( 'sample_category' ) || is_singular( 'sample' ) ) {

  $queried_object = get_queried_object();
  $taxonomy = get_taxonomy( $queried_object->taxonomy );
  $post_types = $taxonomy->object_type;
  $terms_tree = get_taxonomy_hierarchy( $queried_object->taxonomy );

  echo get_taxonomy_hierarchy_html( $queried_object->term_id, $queried_object->taxonomy, 
  $terms_tree );

}

カテゴリー名の表示は、リスト以外にも
パンくずナビ、シングルページ、アーカイブ等にも出てくるのですが
一括で指定可能でしょうか？

難しければ、カテゴリーを作成した順番（ID順）の昇順でも構いません。

よろしくお願いいたします。

標準関数でID昇順はできました

get_taxonomy_hierarchy_html が標準関数でないという指摘を受けたので
標準関数でできる範囲でやってみて
カテゴリーIDの昇順で出力できるようにはなりました。

if ( is_category( 'sample' ) || is_tax( 'sample_category' ) || is_singular( 'sample' ) ) {
    $args = array(
    'post_type' => 'sample',
    'taxonomy' => 'sample_category',
    'orderby' => 'ID',
    'order' => 'ASC'
    );
$categories = get_categories( $args );

foreach( $categories as $category ){
    echo '<li><a href="' . get_category_link( $category->term_id ) . '">' . $category->name . '</a></li> ';
}

さらに流動的にカテゴリー名の表示順を制御するために
やはりカテゴリー名の頭に001等の数字をふって名前順に表示し、
get_category の cat_name などのパラメータを使ってカテゴリー名を取得したうえで
正規表現で数字を削除して出力することはできないでしょうか？

よろしくお願いいたします。