回答編集履歴

  基本的にはReLUです。勾配消失のしようがない。もちろんちょうど0の点で微分できなくなる訳ですが、そもそも計算機でやる時点で離散値で計算してるんですから、工学的にはどうでも良いんです。

 

  あと、画像で性能が出るようになったのはやはり畳み込みの力でしょうし、「非連続関数関数に基本は向いていない」のをカバーできるくらいたくさんのデータを突っ込んだりして汎化性能を確保できるようになったことも大切ですから、計算機の性能アップも意外と馬鹿にはできません。