Если использовать ES5 функцию sort, то все проще:
var arr=[],n , i, j, col, row, c, X;
//----------------------------------------------------------------------------
for (col = 0; col<5; col++){
arr.push([]);
for(row=0; row<5; row++){
var x=Math.round(Math.random()*5);
arr[col].push(x);
}
}
alert(arr.join('\n'));
//----------------------------------------------------------------------------
var flat = [];
for (var i = 0; i < arr.length; i++) {
flat = flat.concat(arr[i]);
}
var sorted = flat.sort();
var result = [];
for (var i = 0; i < flat.length; i += 5) {
result.push(sorted.slice(i, i + 5));
}
alert(result.join('\n'));