Можно в свойствах задать: 
.fancybox-inner {
   height: auto !important
}
а в конструктор передать: 
afterShow: function(){ // afterLoad
   $(".fancybox-inner").css("height", 
      $(".fancybox-iframe")[0].body.clientHeight + "px !important"); // получаем внутреннюю высоту
}
	 |