прикол. только что поменял местами строчки prototype.js и jquery.js и все заработало.
теперь выглядит так:
<script type="text/javascript" src="./modules/js/jquery.js"></script>
<script src="./modules/lib/prototype.js" type="text/javascript"></script>
<script type="text/javascript" src="./modules/js/validation.js"></script>
<script Language="JavaScript">
switch (code){ case 8: case 9: case 46: case 37: case 38: case 39: case 40:return true;}return target.value.length <= target.getAttribute('maxlength');}
</script>