Спасибо за идею! Не совсем работает, в силу особенностей самого используемого видеоплеера - там, как оказалось, при его запуске еще куча элементов встраивается, потому tagName оказывается то div, то button, то еще что-то, но вот если выкрутиться вот так, то работает:
if(event.target.className !== 'vjs-poster' && event.target.className !== 'vjs-tech' && event.target.className !== 'vjs-icon-placeholder')
Только главное тогда "слепых зон" не оставить )))