Можно в свойствах задать:
.fancybox-inner {
height: auto !important
}
а в конструктор передать:
afterShow: function(){ // afterLoad
$(".fancybox-inner").css("height",
$(".fancybox-iframe")[0].body.clientHeight + "px !important"); // получаем внутреннюю высоту
}