正規表現で括弧以外のアルファベットだけ置換えしたい

正規表現の密林に迷い込むと簡単には抜けられなくなります。
なので、カッコ内の部分だけを記憶しておいて、あとで合体するというのはどうでしょう。

<div id="org">
-[TOM] ♪ Taking care to keep my baggage with me ♪<br>
-(banging) Huh?
</div>
<button onclick="change()">change</button>
<div id="changed"/>

function change(){
  var str=document.getElementById('org').innerText;
  var matchedlist=str.match(/[\(\[].*?[\)\]]/g);
  str=str.replace(/[\(\[].*?[\)\]]/g,'＊');
  str=str.replace(/[A-z]/g,'_');
  var strarray=str.split('＊');
  str='';
  for(var i=0,len=strarray.length;i<len;i++){
    str+=strarray[i];
    if(matchedlist[i]){
      str+=matchedlist[i]
    }
  }
  document.getElementById('changed').innerText=str
}

こんにちは。

会話に出現する単語は、以下の条件を満たすものと考えられます。

• 半角アルファベット１文字以上で構成される文字列で、
• かつ、その文字列の直前にある文字は、アルファベットおよび(, [ のいずれでもない。
• かつ、その文字列の直後にある文字は、アルファベットおよび), ] のいずれでもない。

この条件に沿って、会話中の単語を、これを囲む左右の文字を含めた正規表現

/[^a-z\(\[][a-z]+[^a-z\)\]]/i

でマッチさせ、このマッチ部分に含まれるアルファベットを _ に変換するような関数
maskingWordsInSpeech(text)
を作りました。

const maskingWordsInSpeech = (text) => {
  let x = text;
  while(true) {
    const y = x.replace(/[^a-z\(\[][a-z]+[^a-z\)\]]/i, 
      str => str.replace(/[a-z]/ig, '_')
    );
    if (x == y) break;
    x = y;
  }
  return x;
};

• 動作確認用のサンプル： https://jsfiddle.net/jun68ykt/Lrae1fw3/13/

以上、参考になれば幸いです。

追記

単語の後にくる文字までマッチさせなければ、whileで回したりせずに以下で済みました。

const maskingWordsInSpeech =
  (text) => text.replace(/[^a-z\[\(][a-z]+/ig, s => s.replace(/[a-z]/ig, '_'));

• 動作確認用のサンプル： https://jsfiddle.net/jun68ykt/Lrae1fw3/25/

一気に1つの正規表現でと言うのは無理です。
splitで、括弧内と括弧外によりわけて、括弧外だけreplaceします。

str = str.split( /(\[.*?\]|\(.*?\))/ ).map(
        function(s){
            if(s.match( /(\[.*?\]|\(.*?\))/ )){
                return s;
            }else{
                return s.replace(/[A-Za-z]/g,"_");
            }
        }
    ).join("");

括弧内を表す正規表現：/(\[.*?\]|\(.*?\))/。この正規表現でsplitする。

splitした配列の各要素について、括弧内ならそのまま、そうでなければreplaceするように、mapで制御する。

最後に配列をjoinして文字列に戻す。