Мне надо что бы не повторялся логин при добавлении в базу.

Ну и пусть себе отправляет форму хоть стопятьсот раз.
НО! Скрипт пхп каждый раз должен проверять есть логин или нет.
• Если есть, то авторизуем пользователя, пишем ему куку, что авторизован, а js уже можно посмотреть куку и не отправлять повторно, но для всяких умников всё равно пхп должен отрабатывать левый запрос (курлами там можно отправить или еще как).
• Если нет, то регистрируем пользователя (инсерт в базу) и тут же его, пользователя авторизуем или отправляем мыло на завершение авторизации.

ЗЫ: аутентификация именно на куках - первое, что пришло в голову.

При регистрации нужен уникальный логин, соответственно его надо проверить на уникальность и в зависимости от результата добавлять в базу или предложить выбрать другой логин. Пхп можно бес проблем это сделать, но хотелось бы без перезагрузки страницы.

Я вижу тут с логикоя бЯда...

Всё будет без перезагрузки. Пусть юзер отправляет свои данные, а вы уж там их принимайте и выдавайте управляющее воздействие. На маленьких проектах я прям ответом генерю js-код, сообщающий об ошибке, для больших надо бы json притягивать.

Итак, есть форма и незарегистрированный пользователь, так пусть пользователь вводит данные. Как только он правильно введет пару логин/пароль, то надо ее скрыть со страницы.
Как я писал выше - надо поддерживать аутентификацию. Если уже зарегистрированный юзер, то форму ему не показываем (например при обновлении страницы) - так не будет левых вводов со страницы.
Ошибки можно выводить алертом или еще как, блокируя страницу.