Почему может не работать onclick?
 

Подскажите почему может не работать onclick/
Только на без jq.

var btn = document.getElementsByClassName('btn');

btn.onclick = function() {

btn.style.cssText = "display: block";
};

Функция должна при нажатии показывать модальное окно.

А посмотреть консоль?
А зайти в отладчик и посмотреть, что у вас получается в btn?

document.getElementsByClassName

Уже буква s показывает, что возвращаются элементы, а не элемент. Даже если он один, возвращается коллекция, а не элемент.

Как тогда лучше посоветуешь обратиться к элементу?

Tungusv,
или

btn[0].onclick

либо

var btn = document.querySelector('.btn');

Tungusv,
читать
поиск элементов на странице
Пожалуйста, отформатируйте свой код!

Для этого его можно заключить в специальные теги: js/css/html и т.п., например:

[html run]
... минимальный код страницы с вашей проблемой
[/html]

О том, как вставить в сообщение исполняемый javascript и html-код, а также о дополнительных возможностях форматирования - читайте http://javascript.ru/formatting.