Alexsandr, так Вы пытаетесь саму функцию сравнить с нулём, а не результат её выполнения.
const smallestDivisor = (num) => {
const denominator = 2;
const result = (num, denominator) => {
return (num % denominator);
}
if (result(num, denominator) === 0) {
return denominator;
}
return result(num, denominator+1);
};
smallestDivisor(100);