Воскресенье, 05.04.2026, 23:50 | Приветствую Вас Гость

Жми-форум обо всём

[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]

Страница 1 из 1 1
Модератор форума: RoMkA29

Правильный robots.txt (Составление правильного robots.txt для сайта)

Правильный robots.txt

RoMkA29

Дата: Воскресенье, 10.03.2013, 18:12 | Сообщение # 1

Генералиссимус

Группа: Администраторы

Сообщений: 264

Репутация: 3

Статус: Offline

На самом деле файл Robots.txt очень не большой.
Всё что в нём должно быть:

Код

User-agent: *
Disallow:

А в идеале вообще удалить файл Robots.txt ведь по сути,для чего он создан?
Для запрета поисковым ботам индексировать некоторые страницы сайт.
Причин для запрета индексации может быть много!
Например закрытая страница может является дубликатом еще одной существующей как это частенько происходит на DLE.

Или же страница является просто помойкой ссылок...

Тут много вариантов.
Теперь прикинем,что решит поисковый бот если увидит что наш файл Robots.txt вести под 1 мб???

Значит мы скрываем кучи плохого контента...
то конечно только мои догадки,но всё же...

Правильный robots.txt (Составление правильного robots.txt для сайта)

Страница 1 из 1
1

Навигация

Block title

Тизерная сеть

Форма входа

Наш бот

ICQ:636-921-022
Jabber:zhmibot@jabber.ru

Случайные картинки

Случайная музыка

[30.07.2013]	[mp3]
Spez – Заебало (0)

Spez – Заебало

[30.11.2013]	[mp3]
Интонация – давай, давай выше неба(OST Молодежка) (0)

Интонация – давай, давай выше неба(OST Молодежка)

[11.03.2013]	[mp3]
Johnyboy - Хей подруга ты снова взялась за сотовый Достал он вновь тебя допросами и заскоками Его ширма едет быстрей чем поезд экспресс и вс (0)

Johnyboy - Хей подруга ты снова взялась за сотовый Достал он вновь тебя допросами и заскоками Его ширма едет быстрей чем поезд экспресс и вс

Опрос

Поиск

Обновление

Основы трейдинга (2)

[Delphi]

E-Mail (1)

[Delphi]

Network Traffic Monitor (2)

[Delphi]

Курс валют/погода (1)

[Delphi]

Заработок в интернете без вашего вмешательства!!! (1)

[Свободное общение]

Статистика

Статистика