У меня все правильно работает:
const elements = [
  [-1, 'A'],
  [0, 'C'],
  [-1, 'B'],
  [0, 'D'],
  [0, 'E'],
  [1, 'F'],
  [2, 'G'],
];
const sorted = elements.toSorted((elementA, elementB) => {
	return elementA[0] - elementB[0];
});
console.log(sorted);
Или ты что-то другое имеешь ввиду?