1. Прощу всего засплитить (split) строку в массив.
2. Найти и удалить нужный элемент массива
3. Собрать (join) строку обратно.
<span id="result">'abc','dbf','fsdf','4444','fsdfdsf'</span><br />
<input type="button" value="Удалить 'fsdf'">
<script>
var button = document.getElementsByTagName('input')[0],
result = document.getElementById('result');
button.addEventListener('click', function () {
var value = result.innerHTML,
array = value.split(','),
index = array.indexOf("'fsdf'");
if (index > -1) {
array.splice(index, 1);
result.innerHTML = array.join(',');
}
}, true);
</script>