1. Привет Гость!

    Время ПРИШЛО !

    Мы предлагаем Вам не только хорошие скрипты, но и предоставляем возможность заработать !


    Узнать подробней

Правильный robots.txt для Dle

Тема в разделе "Хаки DLE", создана пользователем Trinixy, 27.05.14.

  1. Admin Post
    Trinixy

    Trinixy Команда форума Администратор

    2.246
    767
    Файл robots.txt должен находится в корневой папке вашего сайта, и путь до него должен быть site.ru/robots.txt
    Код:
    User-agent: *
    Disallow: /*print
    Disallow: /2011/
    Disallow: /2012/
    Disallow: /tags/
    Disallow: /user/
    Disallow: /engine/
    Disallow: /favorites/
    Disallow: /lastnews/
    Disallow: /newposts/
    Disallow: /catalog/
    Disallow: /addnews.html
    Disallow: /statistics.html
    Disallow: /rules.html
    Disallow: /dle-rules-page.html
    Disallow: /*?*
    Sitemap: http://site.ru/sitemap.xml
    Host: site.ru
    User-agent - у
    казывает какому поисковому роботу учитывать настройки robots`а, прописывая "*" мы указываем, что учитывать настройки будут все роботы.

    Disallow - здесь нужно указать какие страницы не учитывать поисковикам, это может быть обратная связь, чат и многое другое. Здесь также следует указать дублирующие страницы. Прописывая "*" мы говорим роботу, что индексировать сайт вообще не нужно. Там где мы прописали "*?*" этим мы указываем, что не нужно индексировать страницы, где в адресе есть вопросительный знак.

    Allow - противоположное Disallow

    Sitemap - в этом пункте следует прописать путь до вашей карты сайта, обычно это http://site.ru/sitemap.xml, где site.ru это ссылка на ваш сайт

    Host - путь до вашего сайта без http и слешей
     
  2. aleks1987

    aleks1987 Проверенные

    115
    34
    Можно изменить немножко робот, чтобы весь шлак не индексировал.
    User-agent: *
    Allow: /uploads/posts/
    Disallow: /rules.html
    Disallow: /index.php*
    Disallow: /index.php?*
    Disallow: /engine/go.php
    Disallow: /favorites/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /page/
    Disallow: */page/*
    Disallow: /newposts/
    Disallow: /lastnews/
    Disallow: /catalog/
    Disallow: /tags/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /statistics.html
    Disallow: /banners/
    Disallow: /user/
    Disallow: /2012/
    Disallow: /2013/
    Disallow: /2014/
    Disallow: /2015/
    Disallow: /2016/
    Disallow: /2017/
    Disallow: /*action=mobile$
    Disallow: /do=*
    Disallow: /*do=*
    Disallow: /?*
    Disallow: /engine/
    Disallow: /js/
    Disallow: /go.php
    Host: SITE.ru
    Sitemap: http://SITE.ru/sitemap.xml

    У меня сделано вот так.
     
    Trinixy нравится это.
  3. jilejus

    jilejus Друг

    1
    0
    Согласен.
     
  4. Kestas

    Kestas Проверенные

    22
    2
  5. Sander

    Sander Проверенные

    17
    11
    не качающейся robots, но лучше еще отключить или отредактировать страницу для печати.
     
  6. Admin Post
    Cyber

    Cyber Админ Команда форума Администратор

    3.072
    717
    Прикрепим текстовый файл.
     
Загрузка...
Похожие темы
  1. Trinixy
    Ответов:
    8
    Просмотров:
    504

Поделиться этой страницей

Загрузка...