1. Получи VIP аккаунт БЕСПЛАТНО!

    Конкурс на лучшего организатора

  2. Получи доступ


    И скачивай файлы без ограничений!


    Подробнее

Статья Что такое robots.txt

Тема в разделе "Статьи для вебмастера", создана пользователем Trinixy, 06.02.16.

  1. Admin Post
    Trinixy

    Trinixy Команда форума Администратор

    2.385
    939
    Чтобы поисковая система знала, в каком направлении ей следует двигаться при обследовании неизвестного сайта, необходимо создать специальный путеводитель для роботов. Он именно так и называется: файл robots.txt. Его ищут роботы, когда начинают индексацию веб-ресурса и отсюда они получают все основные инструкции. Поэтому, чтобы ничего не напутать, вам нужно достоверно узнать о файле robots.txt.


    Данный файл robots.txt должен храниться в корневой папке вашего сайта, здесь его надеются обнаружить поисковые роботы. С его помощью вы удачно избежите так называемого «зазеркаливания», а также сможете отключить от индексации те страницы и директории, которые не хотите делать видимыми для робота.

    Как вы уже поняли из формата .txt, этот файл является текстовым, а создается он при помощи самого простого текстового редактора – Блокнота. Тут вы должны задать все необходимые параметры, после чего сохранить документ под названием robots и переместить его в «корневище» своего ресурса.

    Главные параметры файла robots.txt – это User-Agent: и Disallow:. Первый указывает на то, для каких поисковиков заданы определенный действия, а второй – что нужно спрятать от индексации. Если вы поставите такую строку: User-Agent:*, то это будет значить, что действия указаны для всех поисковых роботов (обычно так все и пишут). В Disallow нужно указать непосредственно директорию, к примеру, Disallow: /folder/ или страницу: Disallow: /page.html.

    В принципе, это все основные данные, которые касаются файла robots.txt. Как видите, все довольно просто и незамысловато, и чтобы справиться с данным мероприятием, не нужны особенно высокие и глубокие навыки!

    Но чтобы не было лишних «зеркальных» проблем с Яндексом, лучше специально прописать для данной поисковой службы отдельный параметр, который будет указывать ему, по какому адресу индексировать сайт. Этот параметр выглядит так: host:. Если вы хотите, чтобы все страницы шли с адресом с www, то нужно будет указать домен с этим прибавлением, если же нет, то без него. К примеру, вот как должна выглядеть конечная картинка, если вы отказались от www:
    User-Agent: Yandex
    Host: myproject.ru.
     
    Денис Майнер, Cyber и Тимофей нравится это.

    Не знаешь как скачать файлы ?   Не задавай вопросов   -   Смотри видео
  2. Инфо.Бот

    Trinixy.info Trinixy.info

    - Все новые сообщения, проходят модерацию. Читаем - Правила и условия
       (собщения типа спасибо, спс, cool, и т.п., - будут удалятся)
    - Не вижу ссылки на файл. Смотрим видео - Как скачивать файлы
       (подобные сообщения - будут удалятся)
    - Как набрать симпатии? Читать ТУТ
       (симпатии важная вещь у нас на форуме)
    - Качать всё без ограничений? VIP аккаунт ТУТ
       (Вы можете скачивать все без ограничения!!!)
     
  3. apocalipce

    apocalipce Проверенные

    6
    3
    Спасибо за информацию=) Видел такой файл в нескольких движках. Всегда ломал голову, что это за файл...
     

  4. Салим Арипов

    Салим Арипов Проверенные

    7
    1

  5. Ivaor

    Ivaor Проверенные

    8
    0
    Спасибо!
    Тоже раньше не понимал
     

  6. Delikat

    Delikat Проверенные

    9
    1
    А если он отсутствует, как будут реагировать поисковые роботы?
     

  7. andrea101

    andrea101 Друг

    2
    0
    Спасибо за информацию.
     

  8. kenigboy

    kenigboy Проверенные

    5
    0
    Всегда использую роботс тхт
     

  9. Admin Post
    Cyber

    Cyber Admin Команда форума Администратор

    4.374
    1.095
    Не все роботы его придерживаются
     

  10. lolka97

    lolka97 Друг

    1
    0
    Спасибо за информацию
     

Загрузка...
Похожие темы
  1. Cyber
    Ответов:
    2
    Просмотров:
    754
  2. Cyber
    Ответов:
    1
    Просмотров:
    1.028
  3. Trinixy
    Ответов:
    0
    Просмотров:
    1.737
  4. Trinixy
    Ответов:
    1
    Просмотров:
    1.843
  5. Trinixy
    Ответов:
    23
    Просмотров:
    2.581

Поделиться этой страницей

Загрузка...

Уважаемый пользователь!

Мы обнаружили, что вы блокируете показ рекламы на нашем сайте.

Просим внести его в список исключения или отключить AdBlock.

Наши материалы предоставляются БЕСПЛАТНО и единственным доходом является реклама.

Спасибо за понимание!