Писал по памяти, могут быть ошибки)))
var elem = document.createElement('video'),
support_mp4_codec = !!elem.canPlayType('video/mp4; codecs="avc1.42E01E"').replace(/^no$/, '');
alert(support_mp4_codec);
UPD: странно... проверка правильная(я проверил), но у меня выдает "false"... FireFox 39