Блин я запутался.
Неразберихи добавляет и то что у меня изображение пожатое до 40% (просто в оригинале оно довольно большое). Буквально я вывожу на страницу
<img src="img.png" width="40%" height="40%"/>
Из-за этого путаница в цифрах. Пока что все равно никак не выходит верно установить позицию вручную. Но судя по всему очень похоже на то что e.detail то как раз возвращает верные координаты! А вот установка все-равно не пашет.