[Vlasenko Fedor]

Хочется, чтобы вы сами нашли решение
Кнопку то может и не зачем заменять

<input type="button" value="Добавить" id="test">
<script>
    window.onload = function () {
        document.getElementById('test').onclick = function () {
            this.value = ['Добавить','Удалить'][this.state = this.state >>> 0 ? 0 : 1];
//демонстрация в консоли
            if(this.state){
                console.log('Добавить');
            }else{
                 console.log('Удалить');
            }
        };
    };
</script>