globで、アンダースコア(_)で始まるディレクトリを除外したい

前提・実現したいこと

npm-scriptsとcpxというモジュールを使ってディレクトリを監視し、ファイルのコピーを自動化しようとしています。
その際、アンダースコア(_)で始まるファイルとディレクトリを監視対象から除外したいのですが、ディレクトリだけうまくいきません。
以下、実現したいことの要件です。

特定のディレクトリ(src)を監視し、中のファイルを指定のディレクトリ(dest)にコピーする
コピーの際、ディレクトリ構造を維持する
アンダースコアで始まるファイルはコピーしない
アンダースコアで始まるディレクトリ以下のファイルは全てコピーしない

現状は以下のようにして、ファイルのみ除外しています(scssファイルも除外しています)。

json
1scripts: {
2  "watch:copy": "cpx \"./src/**/!(_*.*|*.scss)\" ./dest --watch"
3}

上記のglobパターンを抜き出したものが以下です。

./src/**/!(_*.*|*.scss)

試したこと

以下を試してみましたがうまくいきませんでした。

./src/!(_)*/**/!(_*.*|*.scss) // 1階層目(src直下)のみ、ディレクトリを除外してくれるがファイルもコピーしてくれない
./src/!(_)**/!(_*.*|*.scss) // 2階層目しか監視してくれない
./src/!(_)*/!(_*.*|*.scss) // 2階層目しか監視してくれない

どのように書けば良いでしょうか？
何卒、よろしくお願いいたします。