Воу, в итоге я сам нашел ответ тут
https://learn.javascript.ru/mouse-drag-and-drop.
Оказалось что гугл имеет свой Drag'n'Drop и начинает рамсы делать с нашим. Просто вставляете ball.ondragstart = function() {
return false;
}; и все у вас будет хорошо!