Удалять ни в коем случае ничего нельзя. Допустим, ты тянешь карту вниз. Нижняя граница видимой области карты уходит за нижнюю границу монитора, а верхняя спускается. Следовательно, нижние картинки нам не нужны. Я делал так: все картинки хранятся в дивах с абсолютным позиционированием. В описанном ранее случае, нижний ряд картинок (кстати их размер лучше делать 256 на 256) перепрыгивает на место над последним верхним рядом. Всем этим картинкам назначается src соответственно x=x; y = (y верхней картинки) + 1. Это в моей системе координат.
Аналогично в другие стороны: те картинки, которые переходят в невидимую область, перепрыгивают на место новых, еще не загруженных. В случае диагонального перетаскивания, делается в два прохода. Нужно еще отметить, что, чтобы этого не видел пользователь, нужно иметь запас в однин ряд от каждого края в невидимой зоне, так надежнее и плавнее. Еще надо учесть что количество картинок зависит от размеров видимой области на мониторе и при сжатии окна карта смещается относительно точки золотого сечения (так по-человечески правильно), а массив картинок пересчитывается, чтобы соответствовать изначальной структуре.
Надеюсь понятно объяснил
Скриптами с сервера я ничего не забираю. Картинки лежат уже нарезанные программно в одной папке.
Совет: посмотри firebug'ом карты google. Я много идей у них брал.