Правильный robots.txt - Форум
Пятница, 02.01.2026, 10:16 | Приветствую Вас Гость

Жми-форум обо всём

[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]

  • Страница 1 из 1
  • 1
Модератор форума: RoMkA29  
Правильный robots.txt
RoMkA29Дата: Воскресенье, 10.03.2013, 18:12 | Сообщение # 1
Генералиссимус
Группа: Администраторы
Сообщений: 264
Репутация: 3
Статус: Offline

На самом деле файл Robots.txt очень не большой.
Всё что в нём должно быть:


Код
User-agent: *
Disallow:

А в идеале вообще удалить файл Robots.txt ведь по сути,для чего он создан?
Для запрета поисковым ботам индексировать некоторые страницы сайт.
Причин для запрета индексации может быть много!
Например закрытая страница может является дубликатом еще одной существующей как это частенько происходит на DLE.

Или же страница является просто помойкой ссылок...

Тут много вариантов.
Теперь прикинем,что решит поисковый бот если увидит что наш файл Robots.txt вести под 1 мб???

Значит мы скрываем кучи плохого контента...
то конечно только мои догадки,но всё же...
 
  • Страница 1 из 1
  • 1
Поиск:

Навигация
Block title
Форма входа
Наш бот
Наш бот информер

ICQ:636-921-022
Jabber:zhmibot@jabber.ru
Случайные картинки
Случайная музыка
[23.04.2013][mp3]
Sindikat – _Я разобью твоё ебало об клавиатуру (0)
Sindikat – _Я разобью твоё ебало об клавиатуру
[04.11.2013][mp3]
Григорий Лепс и Ани Лорак – Зеркала (1)
Григорий Лепс и Ани Лорак – Зеркала
[10.07.2013][mp3]
Тонкая Красная Нить - Тёмно-Алая Кровь (0)
Тонкая Красная Нить - Тёмно-Алая Кровь
Опрос
Вы к нам ещё вернетесь?
Всего ответов: 32
Поиск
Обновление
  • Заработок в интернете без вашего вмешательства!!! (1)
  • Букмекерская контора Betsstore (2)
  • Рейтинг трейдеров 2025: кому можно доверять (0)
  • Красивое вертикальное зеленое меню для uCoz (1)
  • Раздача Халявы (ICQ Дедиков Wmz Wmr, Steam аккаунты к играм (2)
  • Статистика


    Яндекс.Метрика
    Статистика