Зачем делать replace? Всегда можно отловить введенный символ до того как он добавится в input:
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Document</title>
</head>
<body>
<input type="text" class="sumPay"/>
<script src="//yandex.st/jquery/1.8.0/jquery.min.js"></script>
<script>
$('.sumPay').on('keypress', function (e) {
var which = String.fromCharCode(e.charCode);
if (/\D/.test(which)) {
e.preventDefault();
}
});
</script>
</body>
</html>