UICollectionViewをUITableViewCellに入れ子にしてセルの高さを可変にしたい

お世話になっています。

UITableViewCellにUICollectionViewを入れ、CollectionViewCellの数によってTableViewのセルの高さを可変させたいと思っています。
TableViewCellの中身がCollectionView以外のUIパーツだとうまく可変してくれるのですが、
CollectionViewを入れた時のセルは高さがデフォルト値となってしまい、例えば44ポイント分しか表示されないような状況です。

swift
1tableView.estimatedRowHeight = xx
2tableView.rowHeight = UITableViewAutomaticDimension

でセルの高さの見積もりと制約を元に計算した値を設定もダメでした。
現状はCollectionViewに表示させるセルのMax数が決まっているので対象のセルを読み込んだときにだけ

swift
1func tableView(_ tableView: UITableView, heightForRowAt indexPath: IndexPath) -> CGFloat {
2    return 決め打ちの値
3}

で決め打ちの値を返しています。

ただ、セルの数が少ない場合、決め打ちの高さに満たない部分が余白となってしまいかなり不恰好です。

解決方法をご存知の方がいらっしゃいましたらご教授ください。
よろしくお願いします。

階層

ViewController
    - TableView
        - TableViewCell (Xib) ← ここの高さを可変させたい
             - CollectionView (Xib)
                  - CollectionViewCell (Xib)
                       - ImageView