С кавычками работает:
<img src="http://javascript.ru/forum/images/smilies/smile.gif" />
<img src="http://javascript.ru/forum/images/ca_serenity/misc/logo.gif" />
<script src="http://code.jquery.com/jquery-1.11.0.min.js"></script>
<script>
$('img:not([src$="logo.gif"])').hide(3000);
</script>
(изменил logo.jpg на logo.gif. Кстати какого хера логотип в jpg формате??? PNG!)
Суть в том что раньше в jQuery использовался собственный движок поиска по селектору. Щас же по возможности юзается нативный querySelectorAll, который более требователен к синтаксису.
А вобще, дружище, открой консоль (F12) и тебе будет проще определять в чем ошибка.