Индексирование

Объясните пожалуйста, что такое "индексирование" и как его вообще настроить?
Пыталась разобраться самостоятельно, но результаты плачевны...

Прочитала в Яндексе статью, но вопросов после нее стало еще больше:

"Чтобы ускорить появление страниц сайта в поиске, воспользуйтесь нашими рекомендациями — во-первых, исключите из индексирования ненужную информацию, во-вторых, сообщайте роботу о новых страницах. Для этого:

- запретите в robots.txt индексирование страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, страницы с результатами поиска, сайты-зеркала, документы на нераспространенных в рунете языках"

-настройте сервер на выдачу корректных заголовков ответов (например, если страница не существует, выдавать ошибку 404, а если поступил запрос If-Modified-Since, то выдавать код 304, если страница с указанной в запросе даты не изменялась).

То, что я выделила жирным, мне совершенно не понятно...Как "исключить из индексирования", " запретить в robots.txt" и "настроить сервер на выдачу корректных заголовков"?

Простите, что так много вопросов, просто он уже не умещаются в моей голове

за тебя это делает сервис, ни к одному из описанных инструментов управления индексированием нет.

То что читаешь документацию от "поставщика" это конечно похвально

Остап Бендер пишет: за тебя это делает сервис, ни к одному из описанных инструментов управления индексированием нет.

А на счёт индексирования...
http://forum.webartisan.ru/viewforum.php?f=13
Может быть некоторые темы будут полезны. То что читаешь документацию от "поставщика" это конечно похвально

Остап Бендер, спасибо за помощь, сейчас пойду читать по ссылке