А добавляешь в объект как?
Элементы массива по-простому можно через filter удалять (для старых браузеров нужно заполифиллить), но самый правильный способ - это использовать Set из ECMAScript 6. ES6 пока что неутвержден, пользоваться им можно через компиляцию с помощью, например,
https://6to5.github.io/index.html или
https://github.com/termi/es6-transpiler