[melky]

selectable ui, к сожалению, не позволяет стилизовать выделение (на сколько мне известно, по крайней мере)

вы читали документацию?

This widget requires some functional CSS, otherwise it won't work. If you build a custom theme, use the widget's specific CSS file as a starting point.

демка, из темы которой брались стили :
http://jqueryui.com/selectable/#display-grid


поехали.

рамка выделения :
редактируем класс, который указан ниже и имеет след. стили :

.ui-selectable-helper {
    border: 1px dotted black;
    position: absolute;
    z-index: 100;
}

далее, элементы, которые выделяются в текущий момент, пока пользователь не отпустил кнопку мыши

.ui-selecting {
    background: none repeat scroll 0 0 #FECA40;
}

и последнее, элементы, которые выделены - т.е. когда пользователь отжал кнопку мыши ... т.е. результат выделения.

.ui-selected {
    background: none repeat scroll 0 0 #F39814;
    color: white;
}

осталось только сделать внешний вид, какой хочется