[ksa]

а через open

Этод метод открывает обычное окно, не модальное...

Используй тогда обычный ДИВ с затемнением всего содержимого окна... Там рисуй кнопки... На вид всё будет как модальное окно, а на деле все будет в окне текущем.