На keydown формы вешаешь обработчик (или на keydown всего документа, смотря как точно работать должно), в нем смотришь, что в event.keyCode || event.which, если там код клавиши enter, то делаешь что нужно и, что бы не произошло перехода на другую страницу, останавливаешь стандартное действие браузера:
if (event.preventDefault) event.preventDefault();
event.returnValue = false;
Примерно похожая ситуация есть здесь:
http://fastcoder.org/articles/?aid=264
Учебник по событиям:
http://javascript.ru/tutorial/events