[Alexsandr]

Вы пытаетесь саму функцию сравнить с нулём, а не результат её выполнения.

А как сделать чтоб сравнить результат? В описании функции я же писал вернуть значение вычисленного return (num % denominator);