[krasovsky]

$('a[href^="#"]') -когда делаешь так, будь готов к тому что придется делать костыли потом.
Почему бы минимально не персонализировать свой обработчик? Что бы он охватывал нужную часть интерфейса а не все подряд - $('.anchor') - вот один класс "якорей" и никаких проблем

Кроме того в разметке какую роль выполняет тег a? Если роль контейнера то используй div, если совсем уж нет возможности, то по краqней мере убрать у него атрибут href