PostgreSQLで数十億件程度のデータを処理したことがあります。
plpgsqlをよく使います。