1. Привет Гость!

    Не пропусти!!!

    Мы запустили новую акцию- VIP статус в подарок !


    Узнать подробней
  2. Получи доступ со скидкой -30%


    И скачивай файлы без ограничений!


    Подробнее
  3. Нужен организатор
Гость, НУЖНЫ ГОТОВЫЕ ИДЕНТИФИЦИРОВАННЫЕ ЯНДЕКС КОШЕЛЬКИ? ПОКУПАЙ У НАС>>>

Правильный robots.txt для Dle

Тема в разделе "Хаки DLE", создана пользователем Trinixy, 27.05.14.

  1. Admin Post
    Trinixy

    Trinixy Команда форума Администратор

    2.342
    884
    Файл robots.txt должен находится в корневой папке вашего сайта, и путь до него должен быть site.ru/robots.txt
    Код:
    User-agent: *
    Disallow: /*print
    Disallow: /2011/
    Disallow: /2012/
    Disallow: /tags/
    Disallow: /user/
    Disallow: /engine/
    Disallow: /favorites/
    Disallow: /lastnews/
    Disallow: /newposts/
    Disallow: /catalog/
    Disallow: /addnews.html
    Disallow: /statistics.html
    Disallow: /rules.html
    Disallow: /dle-rules-page.html
    Disallow: /*?*
    Sitemap: http://site.ru/sitemap.xml
    Host: site.ru
    User-agent - у
    казывает какому поисковому роботу учитывать настройки robots`а, прописывая "*" мы указываем, что учитывать настройки будут все роботы.

    Disallow - здесь нужно указать какие страницы не учитывать поисковикам, это может быть обратная связь, чат и многое другое. Здесь также следует указать дублирующие страницы. Прописывая "*" мы говорим роботу, что индексировать сайт вообще не нужно. Там где мы прописали "*?*" этим мы указываем, что не нужно индексировать страницы, где в адресе есть вопросительный знак.

    Allow - противоположное Disallow

    Sitemap - в этом пункте следует прописать путь до вашей карты сайта, обычно это http://site.ru/sitemap.xml, где site.ru это ссылка на ваш сайт

    Host - путь до вашего сайта без http и слешей
     

    Не знаешь как скачать файлы ?   Не задавай вопросов   -   Смотри видео
  2. Инфо.Бот

    Trinixy.info Trinixy.info

    - Все новые сообщения, проходят модерацию. Читаем - Правила и условия
       (собщения типа спасибо, спс, cool, и т.п., - будут удалятся)
    - Не вижу ссылки на файл. Смотрим видео - Как скачивать файлы
       (подобные сообщения - будут удалятся)
    - Как набрать симпатии? Читать ТУТ
       (симпатии важная вещь у нас на форуме)
    - Хочешь скачивать всё без ограничений? Доступ ТУТ
       (Получи доступ и скачивай все без ограничения!!!)
     
  3. aleks1987

    aleks1987 Проверенные

    132
    42
    Можно изменить немножко робот, чтобы весь шлак не индексировал.
    User-agent: *
    Allow: /uploads/posts/
    Disallow: /rules.html
    Disallow: /index.php*
    Disallow: /index.php?*
    Disallow: /engine/go.php
    Disallow: /favorites/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /page/
    Disallow: */page/*
    Disallow: /newposts/
    Disallow: /lastnews/
    Disallow: /catalog/
    Disallow: /tags/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /statistics.html
    Disallow: /banners/
    Disallow: /user/
    Disallow: /2012/
    Disallow: /2013/
    Disallow: /2014/
    Disallow: /2015/
    Disallow: /2016/
    Disallow: /2017/
    Disallow: /*action=mobile$
    Disallow: /do=*
    Disallow: /*do=*
    Disallow: /?*
    Disallow: /engine/
    Disallow: /js/
    Disallow: /go.php
    Host: SITE.ru
    Sitemap: http://SITE.ru/sitemap.xml

    У меня сделано вот так.
     
    Trinixy нравится это.

  4. jilejus

    jilejus Друг

    1
    0
    Согласен.
     

  5. Kestas

    Kestas Проверенные

    22
    2

  6. Sander

    Sander Проверенные

    16
    11
    не качающейся robots, но лучше еще отключить или отредактировать страницу для печати.
     

  7. Admin Post
    Cyber

    Cyber Admin Команда форума Администратор

    3.862
    924
    Прикрепим текстовый файл.
     

  8. Grach

    Grach Проверенные

    16
    1
    Сильно замороченный, не стоит забывать что его надо прописывать под свой нужды, у каждого могут быть свой ст. и модули переадрисаций и так ...
     

Загрузка...
Похожие темы
  1. Cyber
    Ответов:
    0
    Просмотров:
    27
  2. Trinixy
    Ответов:
    8
    Просмотров:
    897

Поделиться этой страницей

Загрузка...