Шейдеры не имеют отношения к Three.js, ибо это даже не JS, а отдельный язык GLSL и несколько книжек на русском по нему есть.
	
	| 
		
			 Цитата: 
		
	 | 
	| 
		Математические операции
	 | 
	
Тут тоже собственно Three.js не причём. Ищи книжки по трёхмерной графике и алгоритмам.
Также можно взять просто книгу по OpenGL, ибо один хрен АПИ один и тот же.