Сделал бенчмарк при 20 дивах, каком-то количестве других элементов, 10000 итерациях. Селекторы быстрее в 17 раз. Может быть можно оптимизировать выборку по childNodes, но, уверен, это не придаст существенного увеличения скорости.
Бенчмарк без присваивания результатов выборки:
http://jsfiddle.net/finom/RDV7g/6/
selector: 189ms
childNodes: 3246ms
Бенчмарк с присваиванием:
http://jsfiddle.net/finom/LBU4W/1/
selector: 188ms
childNodes: 3170ms