А-а-а я понял в чём моя проблема и почему у меня не получалось сделать самому прокрутку.
У меня юзается библиотека для кастомных скроллов, и она оборачивает весь контент в div с position absolute + куча других свойств. У меня window.pageYOffset = 0 всегда.
Но, спасибо за решение.