Есть функция beforeStop, которая вызовется перед окончанием перетаскивания, и есть метод cancel, который отменяет сортировку. Исходя из этого имеем:
beforeStop: function( event, ui ) {
if (#количество элементов 3#) {
$( ".connectedSortable" ).sortable( "cancel" );
}
}
И по поводу document.writeln - перезапишет вам весь документ, используйте console или alert для отладки.