Четверг, 18.06.2026, 11:56 | Приветствую Вас Гость

Жми-форум обо всём

[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]

Страница 1 из 1 1
Модератор форума: RoMkA29

Правильный robots.txt (Составление правильного robots.txt для сайта)

Правильный robots.txt

RoMkA29

Дата: Воскресенье, 10.03.2013, 18:12 | Сообщение # 1

Генералиссимус

Группа: Администраторы

Сообщений: 264

Репутация: 3

Статус: Offline

На самом деле файл Robots.txt очень не большой.
Всё что в нём должно быть:

Код

User-agent: *
Disallow:

А в идеале вообще удалить файл Robots.txt ведь по сути,для чего он создан?
Для запрета поисковым ботам индексировать некоторые страницы сайт.
Причин для запрета индексации может быть много!
Например закрытая страница может является дубликатом еще одной существующей как это частенько происходит на DLE.

Или же страница является просто помойкой ссылок...

Тут много вариантов.
Теперь прикинем,что решит поисковый бот если увидит что наш файл Robots.txt вести под 1 мб???

Значит мы скрываем кучи плохого контента...
то конечно только мои догадки,но всё же...

Правильный robots.txt (Составление правильного robots.txt для сайта)

Страница 1 из 1
1

Навигация

Block title

Тизерная сеть

Форма входа

Наш бот

ICQ:636-921-022
Jabber:zhmibot@jabber.ru

Случайные картинки

Случайная музыка

[17.03.2013]	[mp3]
Спорт – Путь бойца- бейся, иди до конца (2)

Спорт – Путь бойца- бейся, иди до конца

[04.11.2013]	[mp3]
Григорий Лепс и Ани Лорак – Зеркала (1)

Григорий Лепс и Ани Лорак – Зеркала

[11.03.2013]	[mp3]
Johnyboy - Хей подруга ты снова взялась за сотовый Достал он вновь тебя допросами и заскоками Его ширма едет быстрей чем поезд экспресс и вс (0)

Johnyboy - Хей подруга ты снова взялась за сотовый Достал он вновь тебя допросами и заскоками Его ширма едет быстрей чем поезд экспресс и вс

Опрос

Поиск

Обновление

Деревянные окна или пластик (1)

[Свободное общение]

Опрос:Какая Windows установлена у вас (1)

[Windows]

База трастовых форумов для постинга (3)

[Раскрутка сайта]

Новый хороший хостинг или "Первый бесплатный лучше платного" (3)

[Хостинги]

Ключи для Kaspersky CRYSTAL 2013 до 2014 02 02 (3)

[Антивирусы]

Статистика

Статистика