Модальное окно - это псевдо окно на текущей странице. Например div оформленный ввиде окна, в котором какой нить контент - например, iframe и в нем другая страница.
Если под модальным окном подразумевали новое коно браузера. Тогда хз как получить ссылку на окно. По мойму нет варианта получить список всех окон ....
iframe это...
основы JavaScript