Общая схема такова. В некий объект валятся ссылки на элементы после щелчков. После каждого скрипт должен попытаться найти такой элемент в объекте и, если такого нет - новый, добавить, отразить; если такой есть - ничего не добавлять, отражено.
Применительно к обычному массиву это было бы
var id = arr.indexOf(clicked.elem.id;
if(id<0)
arr.push(clicked.elem.id)
Если кликнутый должен быть отозван продолжается
else
arr.splice(id,1);