Сервер это понятно. Речь о клиентском JS. Да и без полифилла бабеля никуда. Все эти async, await, которых нет ни в одной спецификации, но имеют полифилл, так просто из проекта не выкинуть. И что насчет минификации? ES6 код Uglifyjs нормально не сжимает.