hasClass истину или ложь возвращает, а не ccылку на выборку..
Это значит что запись вида hasClass(" ").length(). существовать не может
по идеи. записи вида
if($('table tr').hasClass('open')){
// класс open есть
} else {
}
должно быть достаточно чтобы убедится что tr наделён классом open