[B@rmaley.e><e]

rgbToHex (rgb(0, 255, 0))

Феерический бред. Вы сами сказали в первом сообщении, что в функцию

подставлять в нее нужно 3 числа

а подставляете не числа, а нечто непонятное (вызов необъявленной функции, которая даже если бы и была объявлена, не смогла бы вернуть больше одного значения).