1. При использовании jquery версии 1.2.6 Ваш первоначальный пример работает.
2. А вот почему не работает в 1.3.2... Что-то изменили в механизме выбора, почитайте, что изменилось в версии 1.3.
Можно написать одним селекторм в Вашем случае:
$("table tr:has(td:first-child > :checkbox:checked[disabled!='true'])").css("background-color", "red");