в атрибут записать ID поста, к которому она относится.
дальше просто удалить элемент (пост) со страницы, удалить его из хранилища, и подправить массив postIds :
если не исправлять массив postIds, тогда будем иметь в нём мёртвые ID'шники постов. оно Вам надо?
$delete_button.parents("article").remove(); // для начала удалим пост со страницы.
/*
можно даже проанимировать
$delete_button.parents("article").slideUp("slow", function () {
$(this).remove();
});
*/
var id = $delete_button.attr(...); // получим тут 3, например - ID поста, к которому относится кнопка. вместо троеточия пишем атрибут, в котором сохранён ID.
localStorage.removeItem(prefix + id); // удалим пост из хранилища
// теперь удалим значение из массива.
// postIds должен быть уже получен ранее.
var index = postIds.indexOf(id);
postIds.splice(index, 1); // удалили
// теперь сохраним измененный массив в хранилище. можно сразу
localStorage.setItem(postsIds_key, postIds);