тег script - удалить можно - эффекта не даст
то что лежит внутри тега - исполнилось и лежит в памяти
вы можете обернуть содержимое тега script в именованную функцию
а далее ее обнулить
<script>
var myfunction = function () {
alert("myfunction");
};
</script>
<script>
myfunction();
var myfunction = function () {};
myfunction(); //здесь уже ничего не увидете, функция переопределена
</script>