Может как-нибудь так?
function resizeRock() {
document.getElementById("rockImg").style.height = (document.documentElement.clientHeight - 100) * 0.9;
}
А вообще, если Вы хотите высоту картинки рястянуть на всю высоту окна браузера, то лучше это сделать через CSS:
#rockImg {position:absolute; height-min:100%;}