Обычно автозапуск плеера после обновления страницы возможен при установке свойства audio.autoplay=true; или внутри тега аудио просто autoplay. Тут я ничего из этого не обнаружил, а плеер всё равно стартует автоматически. Странно. Но может быть потому, что я мало смыслю в jquery. Пример, который я хочу предложить - фактически то, что требуется, но по-проще и без jquery:
<audio id=audio>
<source type="audio/mpeg" src="audio/audio.mp3"></source>
<source type="audio/ogg" src="audio/audio.ogg"></source>
</audio>
<button onclick="if(audio.paused){audio.play()}else{audio.pause()}">кнопка</button>