SloewWrlt,
NaN где у вас получается?
это формула корней
графическое решение здесь

js не знает про комплексные числа. Как только должен получиться комплексный результат, выскакивает NaN.

Ниже молодой человек ответил, что js не совсем понимает комплексные числа, как сделать адекватный вывод с комплексным ответом или смирить с выводом NaN?

1. Смириться.
2. Использовать какую-нить библиотеку.
3. Самому написать библиотеку.