А лучше inline-block, иначе все ссылки станут растянутыми на всю ширину и сломают сайт.
<!DOCTYPE HTML>
<html>
<head></head>
<body>
<style type="text/css">
a:first-letter {
text-transform: uppercase;
}
a {
display: inline-block;
}
</style>
<a href="http://www.site.ru" target="_blank">хочу начинаться с заглавной буквы</a>
</body>
</html>