Как лучше анимировать элемент?
 

есть такая структура

http://jsfiddle.net/ok1d9g42/

как мне сделать так, что бы при нажатии на стрелочку, она сама перемещалась бы с дивами?

Ну коль у тебя анимации css3 то и для стрелочки используй их. Тебе нужно ее просто вверх перемемтить? Используй translate.
Или если дивов может быть некое рандомное количество, то можно стрелу поместить в контейнер равный высоте этих дивов и сооствественно уменьшать max-height этому контейнеру, тоже используя css3 transotion