[j0hnik]

Тогда с 1 перескакивает на -1 вместо 0

нет, где что перескакивает?

<div id="time">
    Таймер: <span id="day">0</span> : <span id='hour'>0</span> : <span id="min">0</span> : <span id="sec">0</span>
</div>


<script>
var timeA = [5, 59, 23, 3];
var htmlTime = [document.getElementById('sec'), document.getElementById('min'), document.getElementById('hour'), document.getElementById('day')];

htmlTime[0].innerHTML = timeA[0];
htmlTime[1].innerHTML = timeA[1];
htmlTime[2].innerHTML = timeA[2];
htmlTime[3].innerHTML = timeA[3];

function time(){
    htmlTime[0].innerHTML = timeA[0];
    timeA[0]--;
    
    if (timeA[0] == -1){
        timeA[1]--;
        htmlTime[1].innerHTML = timeA[1];
        timeA[0] = 5;
    }
}

setInterval(time, 1000);
</script>