1. Привет Гость!

    Не пропусти!!!

    Мы запустили новую акцию- VIP статус в подарок !


    Узнать подробней
  2. Получи доступ со скидкой -30%


    И скачивай файлы без ограничений!


    Подробнее

Статья Что такое robots.txt

Тема в разделе "Статьи для вебмастера", создана пользователем Trinixy, 06.02.16.

  1. Admin Post
    Trinixy

    Trinixy Команда форума Администратор

    2.350
    893
    Чтобы поисковая система знала, в каком направлении ей следует двигаться при обследовании неизвестного сайта, необходимо создать специальный путеводитель для роботов. Он именно так и называется: файл robots.txt. Его ищут роботы, когда начинают индексацию веб-ресурса и отсюда они получают все основные инструкции. Поэтому, чтобы ничего не напутать, вам нужно достоверно узнать о файле robots.txt.


    Данный файл robots.txt должен храниться в корневой папке вашего сайта, здесь его надеются обнаружить поисковые роботы. С его помощью вы удачно избежите так называемого «зазеркаливания», а также сможете отключить от индексации те страницы и директории, которые не хотите делать видимыми для робота.

    Как вы уже поняли из формата .txt, этот файл является текстовым, а создается он при помощи самого простого текстового редактора – Блокнота. Тут вы должны задать все необходимые параметры, после чего сохранить документ под названием robots и переместить его в «корневище» своего ресурса.

    Главные параметры файла robots.txt – это User-Agent: и Disallow:. Первый указывает на то, для каких поисковиков заданы определенный действия, а второй – что нужно спрятать от индексации. Если вы поставите такую строку: User-Agent:*, то это будет значить, что действия указаны для всех поисковых роботов (обычно так все и пишут). В Disallow нужно указать непосредственно директорию, к примеру, Disallow: /folder/ или страницу: Disallow: /page.html.

    В принципе, это все основные данные, которые касаются файла robots.txt. Как видите, все довольно просто и незамысловато, и чтобы справиться с данным мероприятием, не нужны особенно высокие и глубокие навыки!

    Но чтобы не было лишних «зеркальных» проблем с Яндексом, лучше специально прописать для данной поисковой службы отдельный параметр, который будет указывать ему, по какому адресу индексировать сайт. Этот параметр выглядит так: host:. Если вы хотите, чтобы все страницы шли с адресом с www, то нужно будет указать домен с этим прибавлением, если же нет, то без него. К примеру, вот как должна выглядеть конечная картинка, если вы отказались от www:
    User-Agent: Yandex
    Host: myproject.ru.
     
    Денис Майнер, Cyber и Тимофей нравится это.

    Не знаешь как скачать файлы ?   Не задавай вопросов   -   Смотри видео
  2. Инфо.Бот

    Trinixy.info Trinixy.info

    - Все новые сообщения, проходят модерацию. Читаем - Правила и условия
       (собщения типа спасибо, спс, cool, и т.п., - будут удалятся)
    - Не вижу ссылки на файл. Смотрим видео - Как скачивать файлы
       (подобные сообщения - будут удалятся)
    - Как набрать симпатии? Читать ТУТ
       (симпатии важная вещь у нас на форуме)
    - Качать всё без ограничений? VIP аккаунт ТУТ
       (Вы можете скачивать все без ограничения!!!)
     
  3. apocalipce

    apocalipce Проверенные

    6
    3
    Спасибо за информацию=) Видел такой файл в нескольких движках. Всегда ломал голову, что это за файл...
     

  4. Салим Арипов

    Салим Арипов Проверенные

    7
    1

  5. Ivaor

    Ivaor Проверенные

    8
    0
    Спасибо!
    Тоже раньше не понимал
     

  6. Delikat

    Delikat Проверенные

    9
    1
    А если он отсутствует, как будут реагировать поисковые роботы?
     

  7. andrea101

    andrea101 Друг

    2
    0
    Спасибо за информацию.
     

Загрузка...
Похожие темы
  1. Cyber
    Ответов:
    2
    Просмотров:
    506
  2. Cyber
    Ответов:
    0
    Просмотров:
    614
  3. Trinixy
    Ответов:
    0
    Просмотров:
    1.101
  4. Trinixy
    Ответов:
    1
    Просмотров:
    1.528
  5. Trinixy
    Ответов:
    22
    Просмотров:
    2.042

Поделиться этой страницей

Загрузка...