Среда, 22.01.2025, 08:36 | Приветствую Вас Гость

Жми-форум обо всём

[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]

Страница 1 из 1 1
Модератор форума: RoMkA29

Правильный robots.txt (Составление правильного robots.txt для сайта)

Правильный robots.txt

RoMkA29

Дата: Воскресенье, 10.03.2013, 18:12 | Сообщение # 1

Генералиссимус

Группа: Администраторы

Сообщений: 264

Репутация: 3

Статус: Offline

На самом деле файл Robots.txt очень не большой.
Всё что в нём должно быть:

Код

User-agent: *
Disallow:

А в идеале вообще удалить файл Robots.txt ведь по сути,для чего он создан?
Для запрета поисковым ботам индексировать некоторые страницы сайт.
Причин для запрета индексации может быть много!
Например закрытая страница может является дубликатом еще одной существующей как это частенько происходит на DLE.

Или же страница является просто помойкой ссылок...

Тут много вариантов.
Теперь прикинем,что решит поисковый бот если увидит что наш файл Robots.txt вести под 1 мб???

Значит мы скрываем кучи плохого контента...
то конечно только мои догадки,но всё же...