У меня аналогичная проблема в веб-приложении. Пока что я пришел к выводу, что с этим придется смириться
Но хуже всего в IE. Память постепенно накапливается и когда доходит до 300 МБ (почему именно 300 - не знаю) - браузер практически сваливается! он как бы продолжает работать, но при этом не отображает ни одной картинки! (почему это вылезает именно на картинках - тоже не знаю).
Чисто из практики (для IE) могу посоветовать, что если есть возможность заменить массивы [] на объекты {}, то лучше используйте объекты