var root = document.createElement("DIV"), //Тут мы создаем корневой элемент
node = document.createElement("DIV"); //А тут создаем чайлда
root.appendChild(node);
document.body.appendChild(root);
В итоге у нас получается два новых, созданных динамически, элемента, ссылки на которых мы записали в соответствующие переменные. Далее мы можем сделать так:
root.removeChild(node);
или
root.removeChild(root.lastNode);
Для того, чтобы работало в твоем случае - достаточно хранить все ссылки в массиве или объекте - как удобнее. Но согласен с общим мнением по поводу неверного подхода.
Такой подход очень плохо работает с элементами типа IMG, так как далеко не всегда при удалении их из DOM-структуры, они удаляются из очереди загрузки броузера и у них по прежнему могут выскакивать события onload и т.д.