Проблема решилась.
На самом деле проблема все такие была в скриптах.
В логи ложились ip адрес и имя компьютера с которого было обращение.
Для определения имени - WEB сервер обращался к DNS серверу для разрешения имени хоста и в итоге на это и тратилось кучу времени (~ 4 c)
А когда запрос шел с локалхоста - сервак сам разрешал свое имя
Всем спасибо