1. Привет Гость!

    Не пропусти!!!

    Мы запустили новую акцию- VIP статус в подарок !


    Узнать подробней
  2. Нет времени, чтобы открыть HIDE


    Скачивай файлы без ограничений!


    Подробнее
  3. Нужен организатор
Гость, НУЖНЫ ГОТОВЫЕ ИДЕНТИФИЦИРОВАННЫЕ ЯНДЕКС КОШЕЛЬКИ? ПОКУПАЙ У НАС>>>

Статья Что такое robots.txt

Тема в разделе "Статьи для вебмастера", создана пользователем Trinixy, 06.02.16.

  1. Admin Post
    Trinixy

    Trinixy Команда форума Администратор

    2.290
    817
    Чтобы поисковая система знала, в каком направлении ей следует двигаться при обследовании неизвестного сайта, необходимо создать специальный путеводитель для роботов. Он именно так и называется: файл robots.txt. Его ищут роботы, когда начинают индексацию веб-ресурса и отсюда они получают все основные инструкции. Поэтому, чтобы ничего не напутать, вам нужно достоверно узнать о файле robots.txt.


    Данный файл robots.txt должен храниться в корневой папке вашего сайта, здесь его надеются обнаружить поисковые роботы. С его помощью вы удачно избежите так называемого «зазеркаливания», а также сможете отключить от индексации те страницы и директории, которые не хотите делать видимыми для робота.

    Как вы уже поняли из формата .txt, этот файл является текстовым, а создается он при помощи самого простого текстового редактора – Блокнота. Тут вы должны задать все необходимые параметры, после чего сохранить документ под названием robots и переместить его в «корневище» своего ресурса.

    Главные параметры файла robots.txt – это User-Agent: и Disallow:. Первый указывает на то, для каких поисковиков заданы определенный действия, а второй – что нужно спрятать от индексации. Если вы поставите такую строку: User-Agent:*, то это будет значить, что действия указаны для всех поисковых роботов (обычно так все и пишут). В Disallow нужно указать непосредственно директорию, к примеру, Disallow: /folder/ или страницу: Disallow: /page.html.

    В принципе, это все основные данные, которые касаются файла robots.txt. Как видите, все довольно просто и незамысловато, и чтобы справиться с данным мероприятием, не нужны особенно высокие и глубокие навыки!

    Но чтобы не было лишних «зеркальных» проблем с Яндексом, лучше специально прописать для данной поисковой службы отдельный параметр, который будет указывать ему, по какому адресу индексировать сайт. Этот параметр выглядит так: host:. Если вы хотите, чтобы все страницы шли с адресом с www, то нужно будет указать домен с этим прибавлением, если же нет, то без него. К примеру, вот как должна выглядеть конечная картинка, если вы отказались от www:
    User-Agent: Yandex
    Host: myproject.ru.
     
    Cyber и Тимофей нравится это.

    Не знаешь как скачать файлы ?   Не задавай вопросов   -   Смотри видео
  2. apocalipce

    apocalipce Проверенные

    6
    3
    Спасибо за информацию=) Видел такой файл в нескольких движках. Всегда ломал голову, что это за файл...
     

  3. Салим Арипов

    Салим Арипов Проверенные

    7
    1

  4. Ivaor

    Ivaor Проверенные

    8
    0
    Спасибо!
    Тоже раньше не понимал
     

Загрузка...
Похожие темы
  1. Trinixy
    Ответов:
    1
    Просмотров:
    704
  2. Trinixy
    Ответов:
    19
    Просмотров:
    632
  3. Trinixy
    Ответов:
    3
    Просмотров:
    561
  4. Trinixy
    Ответов:
    1
    Просмотров:
    566
  5. Cyber
    Ответов:
    0
    Просмотров:
    1.206

Поделиться этой страницей

Загрузка...