Как запретить индексацию
определенных страниц?
Разрешения и запрещения на индексацию
берутся всеми поисковыми системами из
файла robots.txt. Запрет на индексацию
ряда страниц может появиться, например,
из соображений секретности или из
желания не индексировать одинаковые
документы в разных кодировках. Чем
меньше Ваш сервер, тем быстрее робот его
обойдет. Поэтому запретите в файле robots.txt
все документы, которые не имеет смысла
индексировать (например, файлы
статистики или списки файлов в
директориях). Обратите особое внимание
на CGI или ISAPI скрипты - наш робот
индексирует их наравне с другими
документами.
В простейшем виде (разрешено все, кроме
директории скриптов) файл robots.txt
выглядит следующим образом:
User-Agent: *
Disallow: /cgi-bin/
Детальное описание спецификации файла
можно прочитать на странице: "Стандарт
исключений для роботов".
Как выяснить, что Yandex
проиндексировал на моем сервере?
Если в Расширенном
поиске, в разделе "Сайт/вершина",
в поле "Искать только на данном сайте"
Вы укажете свой URL и нажмете кнопку "Найти",
то в результате поиска Вы увидите все
страницы Вашего сервера,
проиндексированные Яndex'ом.
Источник: http://www.yandex.ru/