[voraa]

Мот так

let elem = ... // тот, для которого не отменяем
document.onmousedown =  function(ev) {
  return ev.target === elem;
};