1. Привет Гость!

    Не пропусти!

    Мы предлагаем Вам, скидку -25% !


    Узнать подробней
  2. Нет времени, чтобы открыть HIDE


    Скачивай файлы без ограничений!


    Подробнее
  3. Нужен организатор
Гость, НУЖНЫ ГОТОВЫЕ ИДЕНТИФИЦИРОВАННЫЕ ЯНДЕКС КОШЕЛЬКИ? ПОКУПАЙ У НАС>>>

Правильный robots.txt для Dle

Тема в разделе "Хаки DLE", создана пользователем Trinixy, 27.05.14.

  1. Admin Post
    Trinixy

    Trinixy Команда форума Администратор

    2.320
    838
    Файл robots.txt должен находится в корневой папке вашего сайта, и путь до него должен быть site.ru/robots.txt
    Код:
    User-agent: *
    Disallow: /*print
    Disallow: /2011/
    Disallow: /2012/
    Disallow: /tags/
    Disallow: /user/
    Disallow: /engine/
    Disallow: /favorites/
    Disallow: /lastnews/
    Disallow: /newposts/
    Disallow: /catalog/
    Disallow: /addnews.html
    Disallow: /statistics.html
    Disallow: /rules.html
    Disallow: /dle-rules-page.html
    Disallow: /*?*
    Sitemap: http://site.ru/sitemap.xml
    Host: site.ru
    User-agent - у
    казывает какому поисковому роботу учитывать настройки robots`а, прописывая "*" мы указываем, что учитывать настройки будут все роботы.

    Disallow - здесь нужно указать какие страницы не учитывать поисковикам, это может быть обратная связь, чат и многое другое. Здесь также следует указать дублирующие страницы. Прописывая "*" мы говорим роботу, что индексировать сайт вообще не нужно. Там где мы прописали "*?*" этим мы указываем, что не нужно индексировать страницы, где в адресе есть вопросительный знак.

    Allow - противоположное Disallow

    Sitemap - в этом пункте следует прописать путь до вашей карты сайта, обычно это http://site.ru/sitemap.xml, где site.ru это ссылка на ваш сайт

    Host - путь до вашего сайта без http и слешей
     

    Не знаешь как скачать файлы ?   Не задавай вопросов   -   Смотри видео
  2. aleks1987

    aleks1987 Проверенные

    119
    34
    Можно изменить немножко робот, чтобы весь шлак не индексировал.
    User-agent: *
    Allow: /uploads/posts/
    Disallow: /rules.html
    Disallow: /index.php*
    Disallow: /index.php?*
    Disallow: /engine/go.php
    Disallow: /favorites/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /page/
    Disallow: */page/*
    Disallow: /newposts/
    Disallow: /lastnews/
    Disallow: /catalog/
    Disallow: /tags/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /statistics.html
    Disallow: /banners/
    Disallow: /user/
    Disallow: /2012/
    Disallow: /2013/
    Disallow: /2014/
    Disallow: /2015/
    Disallow: /2016/
    Disallow: /2017/
    Disallow: /*action=mobile$
    Disallow: /do=*
    Disallow: /*do=*
    Disallow: /?*
    Disallow: /engine/
    Disallow: /js/
    Disallow: /go.php
    Host: SITE.ru
    Sitemap: http://SITE.ru/sitemap.xml

    У меня сделано вот так.
     
    Trinixy нравится это.

  3. jilejus

    jilejus Друг

    1
    0
    Согласен.
     

  4. Kestas

    Kestas Проверенные

    22
    2

  5. Sander

    Sander Проверенные

    17
    11
    не качающейся robots, но лучше еще отключить или отредактировать страницу для печати.
     

  6. Admin Post
    Cyber

    Cyber Админ Команда форума Администратор

    3.394
    821
    Прикрепим текстовый файл.
     

  7. Grach

    Grach Проверенные

    16
    2
    Сильно замороченный, не стоит забывать что его надо прописывать под свой нужды, у каждого могут быть свой ст. и модули переадрисаций и так ...
     

Загрузка...
Похожие темы
  1. Trinixy
    Ответов:
    8
    Просмотров:
    602

Поделиться этой страницей

Загрузка...