[ksa]

Как наладить проверку?

Ты сравниваешь строковые данные... Переведи значения в цифры.

var ostatok = +$('#ostatok').val();
var kolvo = +$('#kolvo').val();

if (kolvo > ostatok) {
	alert("error");
};