Vadim S, используй делегирование событий
https://learn.javascript.ru/event-delegation
<ul id="list">
<li>
Задание 1
<button>X</button>
</li>
<li>
Задание 2
<button>X</button>
</li>
<li>
Задание 3
<button>X</button>
</li>
<li>
Задание 4
<button>X</button>
</li>
</ul>
<script>
list.addEventListener('click', removeTask)
// Function to Remove a task
function removeTask(e) {
const o = e.target.closest('button')
if (!o) return
const i = [...list.querySelectorAll('li')].indexOf(o.closest('li'))
if (i < 0) return
alert(i)
// далее все твои действия...
/*
tasks.splice(i, 1);
saveTasks();
displayTasks();
*/
}
</script>