X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос насчёт роботс
lunatik12
lunatik12
Topic Starter сообщение 17.4.2011, 19:06; Ответить: lunatik12
Сообщение #1


Новичок
*

Группа: User
Сообщений: 41
Регистрация: 16.2.2011
Поблагодарили: 1 раз
Репутация:   -8  


Правильно ли составлен роботс.txt для dle 9.2
User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: ***.ru

User-Agent: Googlebot
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: ***.ru

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: ****.ru

Sitemap: http:///sitemap.xm


Сообщение отредактировал lunatik12 - 17.4.2011, 19:13


Поблагодарили: (1)
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
E-body
E-body
сообщение 18.4.2011, 4:57; Ответить: E-body
Сообщение #2


Новичок
*

Группа: Banned
Сообщений: 45
Регистрация: 15.6.2010
Из: LV
Поблагодарили: 10 раз
Репутация:   1  


Зачем пвторять для каждогого ПС, если можно один раз указать и хватит.
User-agent: *
Host: *****.ru
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

п.с как пример посмотри на офф сайт разработчика dle-news.ru/robots.txt
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 18.4.2011, 5:55; Ответить: liveman
Сообщение #3


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


(E-body @ 18.4.2011, 4:57) *
ачем пвторять для каждогого ПС, если можно один раз указать и хватит.


Яндекс рекомендует вынести отдельно список директив для своего робота, и директиву host ставить в самом низу (после Disallow: и Аllow:, хотя и не обязательно).

lunatik12, исключите еще календарь из индексации, чтобы не было дублей:

Disallow: /2011/
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
E-body
E-body
сообщение 18.4.2011, 7:27; Ответить: E-body
Сообщение #4


Новичок
*

Группа: Banned
Сообщений: 45
Регистрация: 15.6.2010
Из: LV
Поблагодарили: 10 раз
Репутация:   1  


(liveman @ 18.4.2011, 4:55) *
Disallow: /2011/

не рекомендую если старые страницы после апгрейдов (со старых версий дле) остались в виде

п.с. интересует как старые переделать в новые сайт.ру/категория/новости.html post-2472-1287325497.gif (без потери PR страниц)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
s1mple92
s1mple92
сообщение 18.4.2011, 7:27; Ответить: s1mple92
Сообщение #5


Новичок
*


Группа: User
Сообщений: 46
Регистрация: 9.4.2011
Из: Россия
Поблагодарили: 1 раз
Репутация:   2  


User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /tags/
Disallow: /*print

Host: домен без www
Sitemap: http://домен.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 18.4.2011, 7:42; Ответить: liveman
Сообщение #6


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


E-body, да, спасибо за поправку, имел ввиду, что ссылки - стадартные ЧПУ: сайт.ру/ID-новость.html; или же Ваш вариант с категориями.

Сообщение отредактировал liveman - 18.4.2011, 7:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ewdokimow
ewdokimow
сообщение 19.5.2011, 13:44; Ответить: ewdokimow
Сообщение #7


Новичок
*

Группа: Viewer
Сообщений: 6
Регистрация: 7.2.2011
Поблагодарили: 1 раз
Репутация:   0  


Я не совсем понял про Disallow: /2011*? Можно пояснить, что это закрывает? И в каких случаях прописывать нужно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 19.5.2011, 14:28; Ответить: liveman
Сообщение #8


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


ewdokimow, в ДЛЕ есть архив и материал можно найти по ссылкам домен.ком/год/месяц/число/
домен.ком/2011/
домен.ком/2011/01/01
домен.ком/2011/01/02
домен.ком/2011/01/03
домен.ком/2011/02/01
и т.д.


Это лишние дубли, которые необходимо закрыть (естественно, можете и не закрывать, дело ваше. Один минус - если вы выбрали в движке 3 тип ЧПУ:
ссылки на полную новость будут иметь вид http://site.ru/2008/04/02/имя новости.html, внимание данный тип несет повышенную нагрузку на сервер


то вы закроете все страницы от индексации. Поэтому прописываете Disallow: /год/ только для 1 и 2 Типа ЧПУ (то есть ли ссылка на новость имеет вид либо http://site.ru/ID-новость.html, либо http://site.ru/раздел/подраздел/имя новости.html).

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по поводу цен на сайте
16 WildWeb8 905 13.5.2018, 17:40
автор: genjnat
Открытая тема (нет новых ответов) Вопрос к тем, кто зарабатывает на недвижимости?
Как заработать на недвижке.?
15 Dross 2735 26.4.2018, 18:26
автор: megachange
Открытая тема (нет новых ответов) Вопрос по сетке сайтов
Стоит ли так делать?
10 asskra 1403 12.4.2018, 22:33
автор: Ancitrus
Открытая тема (нет новых ответов) Вопрос по расингу контента
5 gold15 656 2.4.2018, 19:18
автор: mmkulikov
Открытая тема (нет новых ответов) Вопрос по метрике
3 Bel_Ami 719 6.3.2018, 16:48
автор: richif


 



RSS Текстовая версия Сейчас: 20.5.2018, 14:34
Дизайн