[DjDiablo]

делегация для таких случаев и создана всё верно
но есть одно но

едва ли ваши тормоза связаны с eventListener. Скорее проблема в самой архитектуре.
собственно тут надо смотреть а нельзя ли десятки тысяч элементов хранить в массиве в виде данных, а работать как с dom только с теми десятками что видны в данный момент пользователю на экране.

Если обьект скрывается за область видимости то как дум элемент он уже не нужен, достаточно данных о нём в модели(нашем массиве с данными). Как только обьект может быть виден то есть смысл достать данные из модели и создать в dom Объект на их основании.

Таким образом в dom будет будет поддерживаться минимально возможное количество (десятки/ну сотни элементов), которые будут давать нагрузки в сотни раз меньше чем десятки тысяч объектов, забабаханных в dom дерево. Все элементы так или иначе участвуют в процессе рендеринга/обработки событий/ в том числе и жрут непомерно много памяти.

Точнее сказать смогу если проект покажете.