Извините я сначала непонял что

<script src="components/com_hello/js/jquery-1.6.2.min.js" type="text/javascript"></script>

это jquery.

Я удалил, теперь на кнопку закрывает через раз. Но диалог также не открывается в условии.

Может поставить firebug, или воспользоваться инструментами для chrome/opera и перестать гадать?

Вот что говорит opera

Значит не подключен Jquery или jquery ui. Хотя может быть, что и не находит такого элемента

Видимо создаётся условие при котором widget.js, core.js, dialog.js недоступны. обратите внимание на то где подключаюся эти скрипты. Соответственно и метода dialog() не существует.

Только что решилась проблема, все оказалось довольно просто.
Joomla очень странно подключала jquery через компонент, подключил через шаблон вроде пока все работает. Все огромное спасибо за помощь. Всем кто помог по плюсу. Тема закрыта.