X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос насчёт роботс
lunatik12
lunatik12
Topic Starter сообщение 17.4.2011, 19:06; Ответить: lunatik12
Сообщение #1


Правильно ли составлен роботс.txt для dle 9.2
User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: ***.ru

User-Agent: Googlebot
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: ***.ru

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: ****.ru

Sitemap: http:///sitemap.xm


Сообщение отредактировал lunatik12 - 17.4.2011, 19:13


Поблагодарили: (1)
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
E-body
E-body
сообщение 18.4.2011, 4:57; Ответить: E-body
Сообщение #2


Зачем пвторять для каждогого ПС, если можно один раз указать и хватит.
User-agent: *
Host: *****.ru
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

п.с как пример посмотри на офф сайт разработчика dle-news.ru/robots.txt
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 18.4.2011, 5:55; Ответить: liveman
Сообщение #3


(E-body @ 18.4.2011, 4:57) *
ачем пвторять для каждогого ПС, если можно один раз указать и хватит.


Яндекс рекомендует вынести отдельно список директив для своего робота, и директиву host ставить в самом низу (после Disallow: и Аllow:, хотя и не обязательно).

lunatik12, исключите еще календарь из индексации, чтобы не было дублей:

Disallow: /2011/
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
E-body
E-body
сообщение 18.4.2011, 7:27; Ответить: E-body
Сообщение #4


(liveman @ 18.4.2011, 4:55) *
Disallow: /2011/

не рекомендую если старые страницы после апгрейдов (со старых версий дле) остались в виде

п.с. интересует как старые переделать в новые сайт.ру/категория/новости.html post-2472-1287325497.gif (без потери PR страниц)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
s1mple92
s1mple92
сообщение 18.4.2011, 7:27; Ответить: s1mple92
Сообщение #5


User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /tags/
Disallow: /*print

Host: домен без www
Sitemap: http://домен.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 18.4.2011, 7:42; Ответить: liveman
Сообщение #6


E-body, да, спасибо за поправку, имел ввиду, что ссылки - стадартные ЧПУ: сайт.ру/ID-новость.html; или же Ваш вариант с категориями.

Сообщение отредактировал liveman - 18.4.2011, 7:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ewdokimow
ewdokimow
сообщение 19.5.2011, 13:44; Ответить: ewdokimow
Сообщение #7


Я не совсем понял про Disallow: /2011*? Можно пояснить, что это закрывает? И в каких случаях прописывать нужно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 19.5.2011, 14:28; Ответить: liveman
Сообщение #8


ewdokimow, в ДЛЕ есть архив и материал можно найти по ссылкам домен.ком/год/месяц/число/
домен.ком/2011/
домен.ком/2011/01/01
домен.ком/2011/01/02
домен.ком/2011/01/03
домен.ком/2011/02/01
и т.д.


Это лишние дубли, которые необходимо закрыть (естественно, можете и не закрывать, дело ваше. Один минус - если вы выбрали в движке 3 тип ЧПУ:
ссылки на полную новость будут иметь вид http://site.ru/2008/04/02/имя новости.html, внимание данный тип несет повышенную нагрузку на сервер


то вы закроете все страницы от индексации. Поэтому прописываете Disallow: /год/ только для 1 и 2 Типа ЧПУ (то есть ли ссылка на новость имеет вид либо http://site.ru/ID-новость.html, либо http://site.ru/раздел/подраздел/имя новости.html).

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос - платное размещение баннеров на сайте
10 WGN 3184 14.12.2020, 14:20
автор: Peterson
Открытая тема (нет новых ответов) Вопрос по рекламе в "инстаграме"
Только активные аккаунты могут создавать или редактировать рекламу
8 Zubkov 16049 17.1.2020, 17:49
автор: Forumacc
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыВопрос-ответ о работе форума
307 dos1k 43322 9.11.2019, 17:59
автор: heks
Открытая тема (нет новых ответов) Жена логопед, собрался ей приводить клиентов. Встал вопрос, куда приводить.
В теме перечисление доступного мне продвижения, но с чего начать?
9 memeplex 3725 16.2.2019, 15:45
автор: zyzy
Открытая тема (нет новых ответов) Предлагаю размещение качественных ссылок на форумах и сервисах вопрос ответ
21 ПроФФи 5019 2.3.2018, 20:56
автор: ShowPrint


 



RSS Текстовая версия Сейчас: 19.4.2024, 16:00
Дизайн