Зеркальная ситуации msgServer не чего не возвращает. То что вы написали return в success нечего не меняет.
function msgServer( msg )
{
//alert( msg );
var flag;
$.ajax ({
type: 'post',
data: msg,
url: '/ajax/',
dataType: 'json',
success: function( data ) { flag = data; // тут true/false, проверено alert, работает! },
error: function( xhr, str ) { alert('Возникла ошибка: ' + xhr.responseCode); }
});
return flag;
}