X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Robots.txt, Dle
paradoks0
paradoks0
Topic Starter сообщение 23.1.2012, 15:28; Ответить: paradoks0
Сообщение #1


Вот мой:
User-agent: *
Disallow: /*rss
Disallow: /tags/
Disallow: /page/
Disallow: /2011/
Disallow: /stats/
Disallow: /cache/
Disallow: /backup/
Disallow: /newposts/
Disallow: /language/
Disallow: /?do=cat&
Disallow: /adv.html
Disallow: /rules.html
Disallow: /contact.html
Disallow: /engine/go.php
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /?do=lastcomments
Disallow: /index.php?newsid
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /*subaction=userinfo
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://sait.ru/sitemap.xml
Host: sait.ru

Подскажите нормальный ли robots.txt для движка dle?
Или, что подправить/убрать/изменить. Заранее спасибо
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DmitriiA
DmitriiA
сообщение 23.1.2012, 15:35; Ответить: DmitriiA
Сообщение #2


На всех ДЛЕ использую такой вариант:

Disallow: /*print
Disallow: /user/
Disallow: /engine/
Disallow: /tags/
Disallow: /favorites/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://site.ru/sitemap.xml
Host: sate.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 23.1.2012, 15:45; Ответить: hybrid
Сообщение #3


paradoks0, закрыть страницы page в категориях, если такие присутствуют.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
paradoks0
paradoks0
Topic Starter сообщение 23.1.2012, 16:05; Ответить: paradoks0
Сообщение #4


(hybrid @ 23.1.2012, 15:45) *
Не совсем понял
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 23.1.2012, 16:16; Ответить: hybrid
Сообщение #5


paradoks0, на сайте используются категории? Если да, то нужно их тоже закрывать вот так:

Disallow: /video/page/
Disallow: /news/page/


Video и news заменяете на это просто примеры, там должны быть ваши категории.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
paradoks0
paradoks0
Topic Starter сообщение 23.1.2012, 16:20; Ответить: paradoks0
Сообщение #6


(hybrid @ 23.1.2012, 16:16) *
paradoks0, на сайте используются категории? Если да, то нужно их тоже закрывать вот так:

Disallow: /video/page/
Disallow: /news/page/


Video и news заменяете на это просто примеры, там должны быть ваши категории.


Спасибо понял, а в целом роботс нормальный?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 23.1.2012, 16:38; Ответить: hybrid
Сообщение #7


paradoks0, в целом нормальный. Но нужно смотреть для каждого сайта отдельно. Может у вас там история с 2006 года, а вы только 2011 закрыли в robots.txt. Я же не экстрасенс. Я не смогу догадаться, есть ли у вас страницы типа adv.html или вы просто скопировали robots.txt откуда-то.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
paradoks0
paradoks0
Topic Starter сообщение 23.1.2012, 16:41; Ответить: paradoks0
Сообщение #8


(hybrid @ 23.1.2012, 16:38) *
paradoks0, в целом нормальный. Но нужно смотреть для каждого сайта отдельно. Может у вас там история с 2006 года, а вы только 2011 закрыли в robots.txt. Я же не экстрасенс. Я не смогу догадаться, есть ли у вас страницы типа adv.html или вы просто скопировали robots.txt откуда-то.


Сайт новый, с 2011 года(с конца)
Иных от стандартных стараниц пока что нету.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 23.1.2012, 16:48; Ответить: hybrid
Сообщение #9


paradoks0, если таких страниц нет на сайте и никаких дополнительных модулей не стоит, которые могли бы создать эти страницы. То зачем их запрещать?

Disallow: /stats/
Disallow: /cache/
Disallow: /backup/
Disallow: /language/
Disallow: /adv.html
Disallow: /contact.html
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
taxi2008
taxi2008
сообщение 23.1.2012, 21:45; Ответить: taxi2008
Сообщение #10


мда... тему обсуждали 100 раз!

Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword


А не легче вот так:
Disallow: *?do=


Все страницы закрываються вот так:
Disallow: */page/


Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
ХОСТИНГ, на котором держу свои сайты
Своим рефералам предоставлю 3 месяца хостинга бесплатно!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 78617 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7587 28.3.2019, 18:31
автор: regem
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 2187 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 8336 1.3.2017, 3:20
автор: regem
Открытая тема (нет новых ответов) Работы по файлу robots.txt
8 tankoff 3681 19.3.2016, 20:02
автор: tankoff


 



RSS Текстовая версия Сейчас: 29.3.2024, 1:05
Дизайн