[DDSSDD]

div:not(:hover) {
    color: #f00;
}

Подошло бы, но такое решение не позволит скрывать div-ы находящиеся выше в коде, чем тот по которому :hover