pasteHTML — метод объекта TextRange, а не selection
function createBR() {
if(!validateMode()) return;
var iframe = document.getElementById("Composition");
var iframeDocument = iframe.contentDocument || iframe.contentWindow.document;
var sel, range;
if(браузер Internet Explorer) {
sel = iframeDocument.selection;
range = selection.createRange();
range.pasteHTML("<br>");
…
} else {
// для остальных браузеров
}
}