[spo]

для группировкки есть параметр rel="group"

Совершенно верно, rel="group" или data-fancybox-group="group"
Если вы имели ввиду использование их тут:

$('tbody tr').click(function (e) {
	e.preventDefault();
	$.fancybox({
		href: $(this).find('a').attr('href'),
		type: 'iframe',
		rel: 'tovar'
	});
});

то это не работает. В этом и заключается моя проблема.