Что-то совсем туго. У меня нет сейчас достаточно времени, чтобы буквально все рассказывать и показывать.
Ищите в сети типа вплывающие подсказки на JQ, но простые примеры, а не плагины, вот по этому принципу и делается.
Коли так туго, то используйте JQ, в котором есть и
методы Ajax, изучайте примеры и используйте. Именно это нужно, и гораздо удобнее нежели window.open, чтобы организовать диалог проверки корректного ввода домена и его занятости. Ведь не обязательно пользователь нажмет "Проверить", может и забыть, значит потребуется механизм, который за этим будет следить и не даст сделать заказ пока не будет проверен домен указанный, если для этого задействовать окно, то это будет полный кошмар.
В общем изучайте, пробуйте, пишите код, а подправить ошибки на форуме помогут.