X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Помогите с robots.txt
quicks
quicks
Topic Starter сообщение 19.12.2010, 14:55; Ответить: quicks
Сообщение #1


Бывалый
****

Группа: Banned
Сообщений: 341
Регистрация: 10.10.2010
Из: Луганск
Поблагодарили: 70 раз
Репутация:   31  


Сайт на dle, вот собственно сам робот, и почему то в индекс лезит print, user, lastcomment, и т.д




Развернуть/Свернуть



User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Allow: /
Host: site.com
Sitemap: http://site.com/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Allow: /
Host: site.com
Sitemap: http://site.com/sitemap.xml





Сообщение отредактировал quicks - 19.12.2010, 14:56
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
сообщение 19.12.2010, 15:31; Ответить: FladeX
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 868
Регистрация: 5.12.2008
Из: Саранск
Поблагодарили: 269 раз
Репутация:   45  


Файл составлен правильно. То, что бот запрашивает эти странички - не страшно. В индексе они всё равно не появятся, а это самое главное.

Allow только не в тему. С первого раза не заметил)

Сообщение отредактировал FladeX - 19.12.2010, 15:33
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bra1n
Bra1n
сообщение 19.12.2010, 15:35; Ответить: Bra1n
Сообщение #3


Мозговой штурм
******

Группа: Active User
Сообщений: 1089
Регистрация: 24.5.2008
Из: Челябинской обл
Поблагодарили: 214 раз
Репутация:   42  


роботс составлен не правильно.

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://site.com/sitemap.xml
Host: site.com

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html


Вот так в точности будет правильно


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 15:35; Ответить: Tollun
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1595
Регистрация: 1.10.2009
Из: Хабаровск
Поблагодарили: 394 раза
Репутация:   66  


(Bra1n @ 19.12.2010, 21:35) *
Вот так в точности будет правильно

и у тебя неправильно smile.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bra1n
Bra1n
сообщение 19.12.2010, 15:38; Ответить: Bra1n
Сообщение #5


Мозговой штурм
******

Группа: Active User
Сообщений: 1089
Регистрация: 24.5.2008
Из: Челябинской обл
Поблагодарили: 214 раз
Репутация:   42  


и у тебя неправильно smile.gif

и где же тут не правильно?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 15:51; Ответить: Tollun
Сообщение #6


Старожил
******

Группа: Active User
Сообщений: 1595
Регистрация: 1.10.2009
Из: Хабаровск
Поблагодарили: 394 раза
Репутация:   66  


(Bra1n @ 19.12.2010, 21:38) *
и где же тут не правильно?


у него неправильно, так будет звучать вернее

есть такое правило, если писать /xxx то будет запрещатся всё начинающиеся на это включая подкаталоги а если /xxx/ то только первый каталог а тот же /xxx/xx будет индексироваться.
по этому правильнее
Disallow: /backup
Disallow: /engine
Disallow: /language
Disallow: /templates
Disallow: /upgrade
Disallow: /uploads

Но вот почему-то у меня в индекс как то и таким образом запрещённый подкаталог залез (в ya)
поэтому чтобы наверняка, то
Disallow: /backup/*
Disallow: /engine/*
Disallow: /language/*
Disallow: /templates/*
Disallow: /upgrade/*
Disallow: /uploads/*


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bra1n
Bra1n
сообщение 19.12.2010, 15:58; Ответить: Bra1n
Сообщение #7


Мозговой штурм
******

Группа: Active User
Сообщений: 1089
Регистрация: 24.5.2008
Из: Челябинской обл
Поблагодарили: 214 раз
Репутация:   42  


правильность роботса вы всегда можете проверить здесь http://webmaster.yandex.ru/robots.xml


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 16:03; Ответить: Tollun
Сообщение #8


Старожил
******

Группа: Active User
Сообщений: 1595
Регистрация: 1.10.2009
Из: Хабаровск
Поблагодарили: 394 раза
Репутация:   66  


а так же ознакомится с мануалом по его использованию: http://help.yandex.ru/webmaster/?id=996567


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
сообщение 19.12.2010, 16:04; Ответить: FladeX
Сообщение #9


Завсегдатай
*****

Группа: Active User
Сообщений: 868
Регистрация: 5.12.2008
Из: Саранск
Поблагодарили: 269 раз
Репутация:   45  


(Tollun @ 19.12.2010, 14:51) *
есть такое правило, если писать /xxx то будет запрещатся всё начинающиеся на это включая подкаталоги а если /xxx/ то только первый каталог а тот же /xxx/xx будет индексироваться.

Для таких случаев используется специальный символ $, обозначающий конец строки. Без этого символа под условие подходят все строки, имеющие указанную часть пути и любое продолжение - хоть слэш, хоть [a-z0-9].
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 16:06; Ответить: Tollun
Сообщение #10


Старожил
******

Группа: Active User
Сообщений: 1595
Регистрация: 1.10.2009
Из: Хабаровск
Поблагодарили: 394 раза
Репутация:   66  


(FladeX @ 19.12.2010, 22:04) *
Для таких случаев используется специальный символ $, обозначающий конец строки. Без этого символа под условие подходят все строки, имеющие указанную часть пути и любое продолжение - хоть слэш, хоть [a-z0-9].

речь не о том чтобы ограничить, а о том, чтобы небыло этого ограничения - именно поэтому * или отсутствие слэша на конце


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Помогите, пожалуйста, моей дочери выжить!
благотворительный топик
30 vitvirtual 3807 19.5.2018, 8:30
автор: vitvirtual
Открытая тема (нет новых ответов) Продвигаю страницу по запросу "Как сделать игру". Помогите советом, пожалуйста
Я секу в теме! Но подать статью угодным поисковикам образом не смо
22 coremission 2208 8.5.2018, 12:33
автор: coremission
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49839 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Помогите с выбором ноута
20 rokot 913 23.4.2018, 12:09
автор: Room
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыПомогите с идеями для форума про успех
Спасибо за каждую идею
43 Zoya83 5190 12.4.2018, 11:42
автор: Zoya83


 



RSS Текстовая версия Сейчас: 26.5.2018, 18:07
Дизайн