Вроде должно работать
<script type="text/javascript">
$(document).ready(function() {
$('li').click(function(e) {
e.preventDefault();
if ($(this).hasClass('big')) { // если открыт
// просто закрываем
$(this).removeClass('big'); // Убираем класс "большой"
} else { // если он закрыт
// вероятно есть открытый
// закрываем вероятно открытые
$('li.small').removeClass('big'); // Убираем у всех класс "большой"
// открываем текущий
$(this).addClass('big'); // Ставим текущему класс "большой"
}
});
});
</script>
Зачем удалять или добавлять класс small ? переопределяй стили и ок