X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос насчёт роботс
lunatik12
lunatik12
Topic Starter сообщение 17.4.2011, 19:06; Ответить: lunatik12
Сообщение #1


Новичок
*

Группа: User
Сообщений: 41
Регистрация: 16.2.2011
Поблагодарили: 1 раз
Репутация:   -8  


Правильно ли составлен роботс.txt для dle 9.2
User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: ***.ru

User-Agent: Googlebot
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: ***.ru

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: ****.ru

Sitemap: http:///sitemap.xm


Сообщение отредактировал lunatik12 - 17.4.2011, 19:13


Поблагодарили: (1)
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
E-body
E-body
сообщение 18.4.2011, 4:57; Ответить: E-body
Сообщение #2


Новичок
*

Группа: Banned
Сообщений: 45
Регистрация: 15.6.2010
Из: LV
Поблагодарили: 10 раз
Репутация:   1  


Зачем пвторять для каждогого ПС, если можно один раз указать и хватит.
User-agent: *
Host: *****.ru
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

п.с как пример посмотри на офф сайт разработчика dle-news.ru/robots.txt
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 18.4.2011, 5:55; Ответить: liveman
Сообщение #3


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


(E-body @ 18.4.2011, 4:57) *
ачем пвторять для каждогого ПС, если можно один раз указать и хватит.


Яндекс рекомендует вынести отдельно список директив для своего робота, и директиву host ставить в самом низу (после Disallow: и Аllow:, хотя и не обязательно).

lunatik12, исключите еще календарь из индексации, чтобы не было дублей:

Disallow: /2011/
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
E-body
E-body
сообщение 18.4.2011, 7:27; Ответить: E-body
Сообщение #4


Новичок
*

Группа: Banned
Сообщений: 45
Регистрация: 15.6.2010
Из: LV
Поблагодарили: 10 раз
Репутация:   1  


(liveman @ 18.4.2011, 4:55) *
Disallow: /2011/

не рекомендую если старые страницы после апгрейдов (со старых версий дле) остались в виде

п.с. интересует как старые переделать в новые сайт.ру/категория/новости.html post-2472-1287325497.gif (без потери PR страниц)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
s1mple92
s1mple92
сообщение 18.4.2011, 7:27; Ответить: s1mple92
Сообщение #5


Новичок
*


Группа: User
Сообщений: 46
Регистрация: 9.4.2011
Из: Россия
Поблагодарили: 1 раз
Репутация:   2  


User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /tags/
Disallow: /*print

Host: домен без www
Sitemap: http://домен.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 18.4.2011, 7:42; Ответить: liveman
Сообщение #6


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


E-body, да, спасибо за поправку, имел ввиду, что ссылки - стадартные ЧПУ: сайт.ру/ID-новость.html; или же Ваш вариант с категориями.

Сообщение отредактировал liveman - 18.4.2011, 7:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ewdokimow
ewdokimow
сообщение 19.5.2011, 13:44; Ответить: ewdokimow
Сообщение #7


Новичок
*

Группа: Viewer
Сообщений: 6
Регистрация: 7.2.2011
Поблагодарили: 1 раз
Репутация:   0  


Я не совсем понял про Disallow: /2011*? Можно пояснить, что это закрывает? И в каких случаях прописывать нужно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 19.5.2011, 14:28; Ответить: liveman
Сообщение #8


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


ewdokimow, в ДЛЕ есть архив и материал можно найти по ссылкам домен.ком/год/месяц/число/
домен.ком/2011/
домен.ком/2011/01/01
домен.ком/2011/01/02
домен.ком/2011/01/03
домен.ком/2011/02/01
и т.д.


Это лишние дубли, которые необходимо закрыть (естественно, можете и не закрывать, дело ваше. Один минус - если вы выбрали в движке 3 тип ЧПУ:
ссылки на полную новость будут иметь вид http://site.ru/2008/04/02/имя новости.html, внимание данный тип несет повышенную нагрузку на сервер


то вы закроете все страницы от индексации. Поэтому прописываете Disallow: /год/ только для 1 и 2 Типа ЧПУ (то есть ли ссылка на новость имеет вид либо http://site.ru/ID-новость.html, либо http://site.ru/раздел/подраздел/имя новости.html).
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по seo для интернет магазина
куда девать продвинутые товары, которые уже не выпускают
18 viktormerke 2815 15.12.2017, 15:18
автор: Smspva
Открытая тема (нет новых ответов) Вопрос к знатокам Instagram
20 SEOMR 4193 30.11.2017, 14:25
автор: DiscordPro
Открытая тема (нет новых ответов) Вопрос про Телеграмм
18 syd2010 1173 28.11.2017, 14:25
автор: PostBrigada
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыАrticle manager вопрос
0 Smile3D 441 24.11.2017, 18:27
автор: Smile3D
Открытая тема (нет новых ответов) Вопрос по трансферу доменов
8 MakDonald 1209 13.11.2017, 11:40
автор: bum


 



RSS Текстовая версия Сейчас: 18.12.2017, 7:02
Дизайн