[Aetae]

sphereMaterial = null;

вот это вот - бессмысленно.
Объект жив(и находится в памяти) пока на него есть хотябы одна ссылка. Соответственно вам надо копать в этом направлении: где может сохраняться ссылка.
Разбираться же за вас - ни у кого желания нет.