Подскажите, пожалуйста, где ошибка? 
Регулярное выражение должно проверять что цифр минимум 5, а оно считает и "-" тоже. 
те, если ввести "-----" или "123--" сообщения alert не будет, а должно, так как цифр не 5.
<input type="text" name="testq" onblur="if(!/^[\d()\-]{5,}/.test(this.value)) {alert('Неверный формат ввода ');}">