[Дзен-трансгуманист]

составь уравнение 3 прямых

Уравнения не нужны. Векторная алгебра рулит.

function isPointInTriangle ( x, y, x1, y1, x2, y2, x3, y3 ) {
  return (
    ( y-y1 ) * ( x2-x1 ) > ( x-x1 ) * ( y2-y1 ) &&
    ( y-y2 ) * ( x3-x2 ) > ( x-x2 ) * ( y3-y2 ) &&
    ( y-y3 ) * ( x1-x3 ) > ( x-x3 ) * ( y1-y3 ) );
}

Точки треугольника должны следовать по часовой стрелке.