суть вопроса в том что насколько мне известно роботы сканируют сайт с начала проходя по всем ссылкам и запоминают их и все содержимое (или какую-то часть не знаю) так вот а что если у меня нет ссылок типа 
<a href="folder/page.html">
 а есть 
<a onclick="openPage('page')">
то есть  все работает на ajax  а текст хранится в html файлах и включается с помощью include в файле обработчике ajax-запросов  то уверен никакой индексации не может и быть. 
Так вот если я размещу скажем в одном месте в цикле исходя из количества страниц
<a style="display:none;" href="page.html">word</a>
то робот проиндексирует страницы 
выход ли это? кто-нибудь может посоветовать что-нибудь?