Ksenia1970, у вас второй вариант работает, только там скобка лишняя была в конце функции...
function testArray(a, b) {
	var sum = 0;
	for (var i = 0; i < a.length; i++) {
		sum += a[i];
	}
	for (var i = 0; i < b.length; i++) {
		sum += b[i];
	}
	return sum * sum;
}
/* пример */
var sum = testArray([3, 6, 8, 6, 3, 1, 1, 8], [8, 7, 4, 1, 6, 3]);
alert(sum);
А в третьем варианте вы забыли назначить начальное число переменным x и y. И также у вас была ошибка в условии цикла. Сравните...
function testArray(a, b) {
	var x = 0;
	for (var i = 0; i < a.length; i++) {
		x += a[i];
	}
	var y = 0;
	for (var j = 0; j < b.length; j++) {
		y += b[j];
	}
	var k = x + y;
	return k * k;
}
/* пример */
var sum = testArray([3, 6, 8, 6, 3, 1, 1, 8], [8, 7, 4, 1, 6, 3]);
alert(sum);