kefalia есть как минимум 4 варианта обработки ajax запрса в joomla
1. Контроллер. Вы можете к существующему подсунуть и добавить свой
2. Плагин обрабатывая событие onAfterInitialise()
3. Передача обработки файлу с отдельной инициализацией фреймворка (костыль)
4. Передача обработки файлу лежащему внутри вашего шаблона (костыль)
5. В Joomla 3.2 встроен компонент ajax
А теперь самое главное, после формирования ответа, вы должны закончить работу приложения.
То есть после ответа должно быть
die;
или
exit;