[Борис К]

сделайте цикл для shuffle равный количеству клеток

Сделал так (может, и неправильно):

for (i = 0; i < 16; i++) {
            tds.slice(0).sort(_ => Math.random() - .5)
                .forEach(target => exch({
                    target,
                    random: true
                }));
            temp = [];
}

Заметно лучше!))

или так ...
if ( event.random ||(x == 0 && y == 1) || (x == 1 && y == 0) || td === temp[0] )

И так попробовал... но через цикл для shuffle показалось лучше)
Рони, благодарю!