Правильный robots.txt для Dle

  • Скидка на платные статусы  -50%!

    получи безграничный доступ к нашим файлам, скриптам, курсам и другим инфопродуктам со скидкой -50%

     

    Подробнее

Trinixy

Команда форума
Администратор
21.05.14
2.465
1.035
#1
Файл robots.txt должен находится в корневой папке вашего сайта, и путь до него должен быть site.ru/robots.txt
Код:
User-agent: *
Disallow: /*print
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
User-agent - у
казывает какому поисковому роботу учитывать настройки robots`а, прописывая "*" мы указываем, что учитывать настройки будут все роботы.

Disallow - здесь нужно указать какие страницы не учитывать поисковикам, это может быть обратная связь, чат и многое другое. Здесь также следует указать дублирующие страницы. Прописывая "*" мы говорим роботу, что индексировать сайт вообще не нужно. Там где мы прописали "*?*" этим мы указываем, что не нужно индексировать страницы, где в адресе есть вопросительный знак.

Allow - противоположное Disallow

Sitemap - в этом пункте следует прописать путь до вашей карты сайта, обычно это
Вы не можете видеть эту ссылку.
, где site.ru это ссылка на ваш сайт

Host - путь до вашего сайта без http и слешей
 

aleks1987

Проверенные
20.12.15
144
48
#2
Можно изменить немножко робот, чтобы весь шлак не индексировал.
User-agent: *
Allow: /uploads/posts/
Disallow: /rules.html
Disallow: /index.php*
Disallow: /index.php?*
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /page/
Disallow: */page/*
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /banners/
Disallow: /user/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Disallow: /engine/
Disallow: /js/
Disallow: /go.php
Host: SITE.ru
Sitemap:
Вы не можете видеть эту ссылку.

У меня сделано вот так.
 

jilejus

Друг
21.12.15
1
0
#3
Можно изменить немножко робот, чтобы весь шлак не индексировал.
User-agent: *
Allow: /uploads/posts/
Disallow: /rules.html
Disallow: /index.php*
Disallow: /index.php?*
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /page/
Disallow: */page/*
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /banners/
Disallow: /user/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Disallow: /engine/
Disallow: /js/
Disallow: /go.php
Host: SITE.ru
Sitemap:
Вы не можете видеть эту ссылку.

У меня сделано вот так.
Согласен.
 

Cyber

Команда форума
Администратор
25.05.14
5.462
1.455
#6

Grach

Проверенные
22.01.17
16
1
#7
Сильно замороченный, не стоит забывать что его надо прописывать под свой нужды, у каждого могут быть свой ст. и модули переадрисаций и так ...
 

rabbit-pgn

Проверенные
17.05.18
11
3
#8
Оратор выше прав. Будьте внимательны господа, когда юзаете.
 

Похожие темы