[ksa]

clearInterval пытался использовать, но или я рукожоп или не канает

Только он и поможет...
Т.к. иначе setInterval() не остановить.

Сделай тестовый пример со своим вариантом обработки, так будет понятнее где ты ошибся.