Скорее всего, ошибка заключается в самом алгоритеме рассчета.
К примеру, если погонять разные алгоритмы по разным лабиринтам на сайте
http://qiao.github.io/PathFinding.js, то можно заметит, что большинство алгоритмов работает около 3 мс, кроме алгоритма дейкстры, который ищет путь за 10 мс.
То есть, даже если предположить, что путь ищется за 20 мс, такая задержка все равно будет незаметна для человека.