[Aetae]

Потому что родитель объекта возможно определить только по __proto__. В __proto__ созданного объекта попадает prototype функции его сконструировавшей. Если у двух функций один и тот же prototype, определить какой именно из них он был создан принципиально невозможно.

Dog и Mammal имеют прототипом один и тот же объект(не копию, заметьте, а именно один и тот же, ибо объекты передаются по ссылке), потому невозможно отличить объект созданный Dog от объекта созданного Mammal. Потому new Dog точно также instanceof Mammal, как new Mammal - instanceof Dog.
А поскольку DomesticCat наследник Cat, и Cat наследник Mammal, то DomesticCat instanceof Mammal и, соответственно, instanceof Dog.