Либо вы подключаете один js-файл, отлаженный,
упакованный, либо, если жаба давит
по поводу N-байт кода, то сервер должен знать к какой странице эти N-байт подключить - подключайте.
Ваш один js-файл будет кеширован, как и jQuery, подключаемый например с сервера Гугл, с большой долей вероятности уже есть в кеше ваших пользователей.