А я бы использовал indexOf:
var a = [1,2,3];
var b = [1,4,3];
for (var i=0; i<b.length; i += 1){
if(a.indexOf(b[i]) != -1){
alert("Удаляем,"+b[i]);
}
}
indexOf реализация для массивов и строк можно взять
тут
А оптимизировать раньше времени, зло!
Скрипт с легкостью можно переписать чтобы он оставлял нужные или собирал их в отдельный массив.