[Sweet]

Здесь:

parseFloat(form.rows[i].cells[j].innerHTML)

, form - уже DOM-элемент. Так что:

function cell(form,i,j) {
    return parseFloat(form.rows[i].cells[j].innerHTML);
}