Вариант на скорую руку, без регулярок:
function getSubIP(ip) {
ip = ip.split('/')[0].split('.');
if(!+ip[2]) ip.splice(2, 4);
else if(!+ip[3]) ip.splice(3, 4);
return ip.join('.') + '.';
}
alert( getSubIP('10.17.0.0/16') );
alert( getSubIP('10.18.1.0/24') );
alert( getSubIP('10.19.5.12/30') );