Всё! Разобрался!
Надо было ";" убрать после message=("логин неверный") , теперь работает:
var message;
var pass;
var login=prompt("Введите логин","");
(login!=null)?(
(login=="я")? (pass=prompt("Введите пароль",""),
message=(pass=="123")?("Привет"):("Пароль неверный")
):message=("Логин неверный")
):(message=("отменено"));
alert(message);