[msufx]

Для простоты пробую на функции createBR()
Мне кажется, что не происходит вставки HTML кода

sel.pasteHTML("<br>");

Результат работы функции в Опере нулевой.

function createBR() {
  if (!validateMode()) return;
var iframe = document.getElementById("Composition");
var iframeDocument = iframe.contentDocument || iframe.contentWindow.document;
 
var sel = iframeDocument.selection;
      sel.pasteHTML("<br>");
      sel.select();
 iframe.focus();
}

Например пример, приведённый ниже, работает.

function formatC(what,opt) {
  if (!validateMode()) return;
  
  if (opt=="removeFormat") {
    what=opt;
    opt=null;
  }
   Composition.focus();
  if (opt==null) Composition.document.execCommand(what);
  else Composition.document.execCommand(what,"",opt);
  
  pureText = false;
  Composition.focus();
}

<DIV language=javascript class=cout title=Жирный onclick="formatC('bold');"><IMG class=Ico src="images/bold.gif"> </DIV>