[kobezzza]

Т.е в общем достаточно удалить родительский элемент и ссылки на его детей?

Да, но в таком случае ссылки лучше хранить в WeakMap, и тогда все будет чистится автоматом.

В этом и крутость WeakMap / WeakSet, что ты можешь добавить туда ссылку на элемент, но если элемент будет удален, то он удалится автоматом.

Например, у тебя на сервере есть объект, соединений пользователей и ты добавляешь его в WeakMap,

var map = new WeakMap();

app.listen(function (req, res) {
    map.add(req, {
       sessionID: '',
       someValue: ''
    })
});

А если соединение порвется, то оно автоматом кильнется из WeakMap (если конечно нет других ссылок).