[l-liava-l]

а у предыдущей ссылки он почему-то не удаляется.

Не удаляется потому что по клику на другую ссылку обработчик принимает ее, а не прошлую. А у вас там this =)
Вот так вот надо:

$(document).ready(function(){
    $('.four.columns.sidebar li a').click(function() {
        $('four.columns.sidebar li a').removeClass('active');//заберет актив у всех ссылок
        $(this).addClass('active');//присвоит нужной
    });
});