В этом случае проще всего создать и кнопками сначала запускать функцию, которая останавливает все аудио на странице. В JS-код добавьте:
function all_pause(){
var all_audio = document.getElementsByTagName("audio");
for(i = 0; i < all_audio.length; i ++) all_audio[i].pause;
}
а 4, 22, 23, 24 строки переписать так:
<button href="#one" class="button primary scrolly" onclick="all_pause(); document.getElementById('audio').play()">Начать</button>
<button href="#two" class="goto-next scrolly" onclick="all_pause(); document.getElementById('audio2').play()">Next</button>
<button href="#three" class="goto-next scrolly" onclick="all_pause(); document.getElementById('audio3').play()">Next</button>
<button href="#four" class="goto-next scrolly" onclick="all_pause(); document.getElementById('audio4').play()">Next</button>