Если говорить только о горизонтали, простого сравнения ширины не будет достаточно?
function getScrollTable() {
var wrapTableWidth = $(".tableWrap").width(),
widthTable = $(".tableScroll table").width();
if (wrapTableWidth < widthTable){
$(".tableAlert").show();
}
}