Есть уже готовая функция сортировки, но без аргумента она преобразует данные в строки и сравнивать будет как строки. Для того чтобы числа сортировать нужна пользовательская функция.
Готовая функция, это sort, вы пользовательскую функцию назвали зарезервированным именем, чего делать нельзя.
var massiv = [21, 12, 4, 5, 34, 11, 23, 96, 1, 3];
alert(massiv.sort(function(a, b) {return a-b}))