[Sweet]

Берешь элемент, на который перешел, и проверяешь, есть ли у него в родителях div. Если есть - ничего не делай. Выглядеть в твоем примере это может примерно так:

if( relatedTarget === this || relatedTarget.parentNode === this ) return;