Как только что выяснилось, slideToggle оставляет элементу высоту 1px и проверка на видимость элемента всегда равна true.
Можно записывать клик в свойство элемента и по нему проверять:
$( "a.toggler" ).click(function () {
this.clicked = !this.clicked;
$( this ).parent().next().slideToggle();
this.innerHTML = [ "Скрыть", "Показать" ][ +this.clicked ];
});