[walik]

не смогли ничего подсказать

Потому что и подсказывать то нечего.
Определить размеры экрана и в зависимости от них менять размеры картинки.

Типа такого:

if ($('img').width() > $(window).width())
   $('img').width($(window).width());
     
if ($('img').height() > $(window).height()) {
   $('img').width('auto');
   $('img').height($(window).height());
}

В Fancybox можно использовать callback-функции "onStart", "onComplete". В одной из функции и делаете проверку изображения в модальном окошке.