1. НОВОГОДНЯЯ АКЦИЯ от TRINIXY.org

    Успей приобрести статусы VIP и PREMIUM

    по низкой цене

     

    Подробнее о VIP  Подробнее о PREMIUM

  2. Получи VIP аккаунт БЕСПЛАТНО!

    Участвуй в нашем Конкурсе

     

    Принимай участие! Не стой в стороне!

Скрыть объявление
Гость, Не пропусти КОНКУРС! ПОДРОБНЕЕ>>>

Правильный robots.txt для Dle

Тема в разделе "Хаки DLE", создана пользователем Trinixy, 27.05.14.

Trinixy.org - зарабатывай с нами!
  1. Admin Post
    Trinixy

    Trinixy Команда форума Администратор

    2.439
    991
    Файл robots.txt должен находится в корневой папке вашего сайта, и путь до него должен быть site.ru/robots.txt
    Код:
    User-agent: *
    Disallow: /*print
    Disallow: /2011/
    Disallow: /2012/
    Disallow: /tags/
    Disallow: /user/
    Disallow: /engine/
    Disallow: /favorites/
    Disallow: /lastnews/
    Disallow: /newposts/
    Disallow: /catalog/
    Disallow: /addnews.html
    Disallow: /statistics.html
    Disallow: /rules.html
    Disallow: /dle-rules-page.html
    Disallow: /*?*
    Sitemap: http://site.ru/sitemap.xml
    Host: site.ru
    User-agent - у
    казывает какому поисковому роботу учитывать настройки robots`а, прописывая "*" мы указываем, что учитывать настройки будут все роботы.

    Disallow - здесь нужно указать какие страницы не учитывать поисковикам, это может быть обратная связь, чат и многое другое. Здесь также следует указать дублирующие страницы. Прописывая "*" мы говорим роботу, что индексировать сайт вообще не нужно. Там где мы прописали "*?*" этим мы указываем, что не нужно индексировать страницы, где в адресе есть вопросительный знак.

    Allow - противоположное Disallow

    Sitemap - в этом пункте следует прописать путь до вашей карты сайта, обычно это Скрытый контент. Для просмотра Вы должны быть зарегистрированным участником., где site.ru это ссылка на ваш сайт

    Host - путь до вашего сайта без http и слешей
     

    Не знаешь как скачать файлы ?   Не задавай вопросов   -   Смотри видео
  2. Инфо.Бот

    Trinixy.info Trinixy.info

    - Все новые сообщения, проходят модерацию. Читаем - Правила и условия
       (собщения типа спасибо, спс, cool, и т.п., - будут удалятся)
    - Не вижу ссылки на файл. Смотрим видео - Как скачивать файлы
       (сообщения типа "как скачать" или "дайте ссылку" - будут удалятся)
    - Как набрать симпатии? Читать ТУТ
       (симпатии важная вещь у нас на форуме)
    - Хочешь скачивать всё без ограничений? Доступ ТУТ
       (Получи доступ и скачивай все без ограничения!!!)
     
  3. aleks1987

    aleks1987 Проверенные

    137
    47
    Можно изменить немножко робот, чтобы весь шлак не индексировал.
    User-agent: *
    Allow: /uploads/posts/
    Disallow: /rules.html
    Disallow: /index.php*
    Disallow: /index.php?*
    Disallow: /engine/go.php
    Disallow: /favorites/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /page/
    Disallow: */page/*
    Disallow: /newposts/
    Disallow: /lastnews/
    Disallow: /catalog/
    Disallow: /tags/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /statistics.html
    Disallow: /banners/
    Disallow: /user/
    Disallow: /2012/
    Disallow: /2013/
    Disallow: /2014/
    Disallow: /2015/
    Disallow: /2016/
    Disallow: /2017/
    Disallow: /*action=mobile$
    Disallow: /do=*
    Disallow: /*do=*
    Disallow: /?*
    Disallow: /engine/
    Disallow: /js/
    Disallow: /go.php
    Host: SITE.ru
    Sitemap: Скрытый контент. Для просмотра Вы должны быть зарегистрированным участником.

    У меня сделано вот так.
     
    Trinixy нравится это.

  4. jilejus

    jilejus Друг

    1
    0
    Согласен.
     

  5. Kestas

    Kestas Проверенные

    22
    2

  6. Sander

    Sander Проверенные

    16
    11
    не качающейся robots, но лучше еще отключить или отредактировать страницу для печати.
     

  7. Admin Post
    Cyber

    Cyber Admin Команда форума Администратор

    4.673
    1.229
    Прикрепим текстовый файл.
     

  8. Grach

    Grach Проверенные

    16
    1
    Сильно замороченный, не стоит забывать что его надо прописывать под свой нужды, у каждого могут быть свой ст. и модули переадрисаций и так ...
     

Загрузка...
Похожие темы
  1. Trinixy
    Ответов:
    0
    Просмотров:
    128
  2. Trinixy
    Ответов:
    8
    Просмотров:
    1.364

Поделиться этой страницей

Загрузка...
Здравствуйте! Кажется, вы используете AdBlock - вам могут быть недоступны некоторые функции. Добавьте, пожайлуйста, нас в исключения или отключите AdBlock. Спасибо за понимание!