Категории
 
 
Безопасность [9]
Ucoz [4]
Статьи про ucoz-сайты, скрипты
Windows [5]
Статьи про Windows.
Опрос
 
 
Какой антивирус установлен на Вашем компьютере?
(152 ответа)
ОтветитьАрхив
Каталог статей
Главная » Статьи » Ucoz » Настройка robots.txt
Настройка robots.txt
Файл robots.txt на ucoz заполнен. Если ваш сайт на DLE, или где-нибудь ещё, то robots.txt заполняется вот так:
Code
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /_ld/
Disallow: /board/
Disallow: /dir/
Host: 7soft.org.ru
Useragent - поисковый робот, можно каждый поисковик настроить на индексацию разных страниц.
Allow - страницы, разрешённые к индексации. Можно не указывать, если сканировать нужно все страницы, кроме указанных в disallow.
Disallow - разделы, запрещённые к индексации. Ненужные страницы лучше всего запретить к индексированию, так как поисковый робот за один раз забирает определённое количество страниц. И будет не очень хорошо, если вместо страниц с новостями он решит обновить статистику или опросы.
Host - новый домен (если есть). * - любой

Источник: http://7soft.org.ru/
Категория: Ucoz | Добавил: 7soft (13.01.2011)
Просмотров: 2600 | Рейтинг: 5.0/2
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Форма входа
 
 
Гость

Вход Регистрация
Мини-чат
 
 
!!!
Присоединяйся!
 
 
Наша кнопка
 
 
Мы будем вам признательны, если вы разместите нашу кнопку у себя на сайте:



Статистика
 
 
ОнлайнПодробно
Онлайн всего: 1
Гостей: 1
Пользователей: 0
Главная
Информация о сайте
Файлы и скрипты
Статьи и уроки
Обои и картинки
Приложения
Онлайн игры
Форум
Отзывы о сайте
Связь с администрацией
Гость
18:17
26.12.2024
Внимание! Здравствуйте, гость!
Мы просим Вас зарегистрироваться на нашем сайте, или войти под своим логином.