[B~Vladi]

он у меня на отдельном сервере

Ну тогда вариантов много, но я не сисадмин, могу только сделать предположение.
Можно задать правило в iptables, что бы на ip/порт memcached-а могли обращаться только с нужного ip.