X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Robots.txt, Dle
paradoks0
paradoks0
Topic Starter сообщение 23.1.2012, 15:28; Ответить: paradoks0
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 92
Регистрация: 12.9.2010
Из: Украина
Поблагодарили: 7 раз
Репутация:   -5  


Вот мой:
User-agent: *
Disallow: /*rss
Disallow: /tags/
Disallow: /page/
Disallow: /2011/
Disallow: /stats/
Disallow: /cache/
Disallow: /backup/
Disallow: /newposts/
Disallow: /language/
Disallow: /?do=cat&
Disallow: /adv.html
Disallow: /rules.html
Disallow: /contact.html
Disallow: /engine/go.php
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /?do=lastcomments
Disallow: /index.php?newsid
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /*subaction=userinfo
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://sait.ru/sitemap.xml
Host: sait.ru

Подскажите нормальный ли robots.txt для движка dle?
Или, что подправить/убрать/изменить. Заранее спасибо
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DmitriiA
DmitriiA
сообщение 23.1.2012, 15:35; Ответить: DmitriiA
Сообщение #2


Участник
***

Группа: User
Сообщений: 189
Регистрация: 8.9.2010
Поблагодарили: 54 раза
Репутация:   6  


На всех ДЛЕ использую такой вариант:

Disallow: /*print
Disallow: /user/
Disallow: /engine/
Disallow: /tags/
Disallow: /favorites/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://site.ru/sitemap.xml
Host: sate.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 23.1.2012, 15:45; Ответить: hybrid
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


paradoks0, закрыть страницы page в категориях, если такие присутствуют.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
paradoks0
paradoks0
Topic Starter сообщение 23.1.2012, 16:05; Ответить: paradoks0
Сообщение #4


Частый гость
**

Группа: User
Сообщений: 92
Регистрация: 12.9.2010
Из: Украина
Поблагодарили: 7 раз
Репутация:   -5  


(hybrid @ 23.1.2012, 15:45) *
Не совсем понял
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 23.1.2012, 16:16; Ответить: hybrid
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


paradoks0, на сайте используются категории? Если да, то нужно их тоже закрывать вот так:

Disallow: /video/page/
Disallow: /news/page/


Video и news заменяете на это просто примеры, там должны быть ваши категории.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
paradoks0
paradoks0
Topic Starter сообщение 23.1.2012, 16:20; Ответить: paradoks0
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 92
Регистрация: 12.9.2010
Из: Украина
Поблагодарили: 7 раз
Репутация:   -5  


(hybrid @ 23.1.2012, 16:16) *
paradoks0, на сайте используются категории? Если да, то нужно их тоже закрывать вот так:

Disallow: /video/page/
Disallow: /news/page/


Video и news заменяете на это просто примеры, там должны быть ваши категории.


Спасибо понял, а в целом роботс нормальный?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 23.1.2012, 16:38; Ответить: hybrid
Сообщение #7


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


paradoks0, в целом нормальный. Но нужно смотреть для каждого сайта отдельно. Может у вас там история с 2006 года, а вы только 2011 закрыли в robots.txt. Я же не экстрасенс. Я не смогу догадаться, есть ли у вас страницы типа adv.html или вы просто скопировали robots.txt откуда-то.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
paradoks0
paradoks0
Topic Starter сообщение 23.1.2012, 16:41; Ответить: paradoks0
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 92
Регистрация: 12.9.2010
Из: Украина
Поблагодарили: 7 раз
Репутация:   -5  


(hybrid @ 23.1.2012, 16:38) *
paradoks0, в целом нормальный. Но нужно смотреть для каждого сайта отдельно. Может у вас там история с 2006 года, а вы только 2011 закрыли в robots.txt. Я же не экстрасенс. Я не смогу догадаться, есть ли у вас страницы типа adv.html или вы просто скопировали robots.txt откуда-то.


Сайт новый, с 2011 года(с конца)
Иных от стандартных стараниц пока что нету.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 23.1.2012, 16:48; Ответить: hybrid
Сообщение #9


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


paradoks0, если таких страниц нет на сайте и никаких дополнительных модулей не стоит, которые могли бы создать эти страницы. То зачем их запрещать?

Disallow: /stats/
Disallow: /cache/
Disallow: /backup/
Disallow: /language/
Disallow: /adv.html
Disallow: /contact.html
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
taxi2008
taxi2008
сообщение 23.1.2012, 21:45; Ответить: taxi2008
Сообщение #10


Оптимизатор
******

Группа: Active User
Сообщений: 2034
Регистрация: 29.7.2008
Поблагодарили: 470 раз
Репутация:   114  


мда... тему обсуждали 100 раз!

Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword


А не легче вот так:
Disallow: *?do=


Все страницы закрываються вот так:
Disallow: */page/
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47540 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 514 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1195 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 697 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 18.12.2017, 23:08
Дизайн