Ну если это всего пара кнопок, но лучше их скрыть через ng-show или ng-if, много ресурсов они не заберут.
Если это что-то более серьезное, то наверно стоит использовать ng-include, обернутый в ng-if:
<div ng-if="showAdminPanel">
<div ng-include="adminPanel.tpl.html"></div>
</div>