В модальном окне, скорее ж всего, iframe?
В таком случае найти его и работать.
Примерно так:
var iframe = document.getElementsByTagName('IFRAME').[0]; // но лучше по id найти node мод.окна и уже в нем искать iframe
var iframeDoc = iframe.contentWindow || iframe.contentDocument.window; // это объект document страницы, которая в iframe
iframeDoc.newVarInIFrame = 'value'; // создание глобальной переменной внутри iframe