[Aetae]

Что-то ты мудришь:

alert(
    'xxx(:not(.hide))'.replace( /^.*?\((.*)\)/, '$1' )
)

Кстати

'(:not(.hide))'.replace( /\(([^\(\)]*)\)/, '$1' ); //":not(.hide)"

вовсе не ":not(.hide)", а "(:not.hide)"