Первое - тернарный оператор. Это сокращенная форма записи условных операторов. Ваш пример:
flg = (document.all) ? 0 : 1;
Эквивалентен:
if (document.all) {
flg = 0;
} else {
flg = 1;
}
По второму - код, откуда был взят этот кусок, писался под браузер Netscape Navigator, который щас можно смело считать устаревшим. Тогда он означал - взять из коллекции
document.layers элемент (слой), имя которого такое же, как у элемента, на который являлся целью события (видимо этот кусок из обработчика события).