[рони]

Вроде так быть не должно

должно!!! иначе кнопка Сохранить значение ненужна, сохранение идёт только по кнопке, не нажали == не сохранили.
без кнопочный вариант

$(function() {
    var a = $(".block a"),
        btn = $(".btn"),
        indx = localStorage.getItem("indx");
    a.on("click", function() {
        a.not($(this).addClass("eps")).removeClass("eps");
        indx = a.index(this);
        localStorage.setItem("indx", indx)
    });
    indx !== null && a.eq(indx).click();
});

оба варианта используют местоположение(индекс) нажатого элемента