Pythonを用いた、文字コードUTF-16 LEで生成されたファイルのファイルマージ方法を知りたい

Question

実現したいこと

DataBricksにて、Pythonを使用してBat処理でおこなっていた文字コードUTF16-LEで生成されたファイルの
マージ処理を行いたいと考えています。

※バッチでの実装時のコード

rem ファイルマージを行う
chcp 20936
type %In_Dir%\*.csv > %To_Dir%\%TargetFile%

しかし、上記処理をDataBricksで実装すると文字化けが発生してしまうため、対処方法を知りたい。

試したソースコード

# ファイルマージ
file_list = dbutils.fs.ls(source_path)
with open(output_path,'wb') as f_new:
  for i in file_list:
    target_file_name = i[0]
    print(target_file_name)
    filename = target_file_name.replace("dbfs:", "/dbfs")
    with open(filename,'rb') as f_old:
      f_new.write(f_old.read())

出力時のデータ

Answer 1

BOM（ファイル先頭2バイトのバイトオーダーマーク）が途中にも入ったと言うことでしょうから、
2つ目以降のファイルの先頭2バイトを捨てれば良いかと思います。