Sigizmund2012,
А зачем Вы кавыряетесь с фреймом имея jQuery ?
Не проще ли данные формы отправлять и получать пост-запросом аяксом из DIV(а), стилизованного под модальное окно, в него же ?
Для отправки формы аяксом существует даж специальный объект FormData()