Чего-то я совсем туплю.
Сделал копипаст с
http://embed.plnkr.co/kT8E35IkpvYHw7NJ6MEL/
Пока "кнопка удаления" в виде
<span class="iconsmall">X</span>
- все работает, удаляет.
Как только убираем символ Х и в этот span заворачиваем svg - так сразу перестает удалять