Подтверждаю, была опечатка.
Рабочий код:
<html>
<body>
<form id="myForm"></form>
<script>
var DeleteButton=document.createElement('input');
DeleteButton.type="button";
DeleteButton.name="Delete";
DeleteButton.id="Delete";
DeleteButton.value="Удалить";
DeleteButton.onclick=function(){
alert("Кнопка нажата");
}
document.getElementById("myForm").insertBefore(DeleteButton,document.getElementById("New"));
</script>
</body>
</html>