X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Помогите с robots.txt
quicks
quicks
Topic Starter сообщение 19.12.2010, 14:55; Ответить: quicks
Сообщение #1


Бывалый
****

Группа: Banned
Сообщений: 341
Регистрация: 10.10.2010
Из: Луганск
Поблагодарили: 70 раз
Репутация:   31  


Сайт на dle, вот собственно сам робот, и почему то в индекс лезит print, user, lastcomment, и т.д




Развернуть/Свернуть



User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Allow: /
Host: site.com
Sitemap: http://site.com/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Allow: /
Host: site.com
Sitemap: http://site.com/sitemap.xml





Сообщение отредактировал quicks - 19.12.2010, 14:56
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
сообщение 19.12.2010, 15:31; Ответить: FladeX
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 868
Регистрация: 5.12.2008
Из: Саранск
Поблагодарили: 269 раз
Репутация:   45  


Файл составлен правильно. То, что бот запрашивает эти странички - не страшно. В индексе они всё равно не появятся, а это самое главное.

Allow только не в тему. С первого раза не заметил)

Сообщение отредактировал FladeX - 19.12.2010, 15:33
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bra1n
Bra1n
сообщение 19.12.2010, 15:35; Ответить: Bra1n
Сообщение #3


Мозговой штурм
******

Группа: Active User
Сообщений: 1089
Регистрация: 24.5.2008
Из: Челябинской обл
Поблагодарили: 214 раз
Репутация:   42  


роботс составлен не правильно.

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://site.com/sitemap.xml
Host: site.com

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html


Вот так в точности будет правильно


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 15:35; Ответить: Tollun
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1595
Регистрация: 1.10.2009
Из: Хабаровск
Поблагодарили: 394 раза
Репутация:   66  


(Bra1n @ 19.12.2010, 21:35) *
Вот так в точности будет правильно

и у тебя неправильно smile.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bra1n
Bra1n
сообщение 19.12.2010, 15:38; Ответить: Bra1n
Сообщение #5


Мозговой штурм
******

Группа: Active User
Сообщений: 1089
Регистрация: 24.5.2008
Из: Челябинской обл
Поблагодарили: 214 раз
Репутация:   42  


и у тебя неправильно smile.gif

и где же тут не правильно?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 15:51; Ответить: Tollun
Сообщение #6


Старожил
******

Группа: Active User
Сообщений: 1595
Регистрация: 1.10.2009
Из: Хабаровск
Поблагодарили: 394 раза
Репутация:   66  


(Bra1n @ 19.12.2010, 21:38) *
и где же тут не правильно?


у него неправильно, так будет звучать вернее

есть такое правило, если писать /xxx то будет запрещатся всё начинающиеся на это включая подкаталоги а если /xxx/ то только первый каталог а тот же /xxx/xx будет индексироваться.
по этому правильнее
Disallow: /backup
Disallow: /engine
Disallow: /language
Disallow: /templates
Disallow: /upgrade
Disallow: /uploads

Но вот почему-то у меня в индекс как то и таким образом запрещённый подкаталог залез (в ya)
поэтому чтобы наверняка, то
Disallow: /backup/*
Disallow: /engine/*
Disallow: /language/*
Disallow: /templates/*
Disallow: /upgrade/*
Disallow: /uploads/*


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bra1n
Bra1n
сообщение 19.12.2010, 15:58; Ответить: Bra1n
Сообщение #7


Мозговой штурм
******

Группа: Active User
Сообщений: 1089
Регистрация: 24.5.2008
Из: Челябинской обл
Поблагодарили: 214 раз
Репутация:   42  


правильность роботса вы всегда можете проверить здесь http://webmaster.yandex.ru/robots.xml


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 16:03; Ответить: Tollun
Сообщение #8


Старожил
******

Группа: Active User
Сообщений: 1595
Регистрация: 1.10.2009
Из: Хабаровск
Поблагодарили: 394 раза
Репутация:   66  


а так же ознакомится с мануалом по его использованию: http://help.yandex.ru/webmaster/?id=996567


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
сообщение 19.12.2010, 16:04; Ответить: FladeX
Сообщение #9


Завсегдатай
*****

Группа: Active User
Сообщений: 868
Регистрация: 5.12.2008
Из: Саранск
Поблагодарили: 269 раз
Репутация:   45  


(Tollun @ 19.12.2010, 14:51) *
есть такое правило, если писать /xxx то будет запрещатся всё начинающиеся на это включая подкаталоги а если /xxx/ то только первый каталог а тот же /xxx/xx будет индексироваться.

Для таких случаев используется специальный символ $, обозначающий конец строки. Без этого символа под условие подходят все строки, имеющие указанную часть пути и любое продолжение - хоть слэш, хоть [a-z0-9].
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 16:06; Ответить: Tollun
Сообщение #10


Старожил
******

Группа: Active User
Сообщений: 1595
Регистрация: 1.10.2009
Из: Хабаровск
Поблагодарили: 394 раза
Репутация:   66  


(FladeX @ 19.12.2010, 22:04) *
Для таких случаев используется специальный символ $, обозначающий конец строки. Без этого символа под условие подходят все строки, имеющие указанную часть пути и любое продолжение - хоть слэш, хоть [a-z0-9].

речь не о том чтобы ограничить, а о том, чтобы небыло этого ограничения - именно поэтому * или отсутствие слэша на конце


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Помогите выбрать ноутбук
Ноутбук для детей
14 kstnews 313 Сегодня, 3:34
автор: anchous
Открытая тема (нет новых ответов) Помогите выбрать программу
Помогите выбрать программу
11 impak 1356 11.12.2017, 13:11
автор: Mikki
Открытая тема (нет новых ответов) Помогите найти плагин на WP
Отзывы с профилей соц сетей
1 SEOMR 450 30.11.2017, 7:18
автор: Nell
Открытая тема (нет новых ответов) Помогите найти проблему
Долгий ответ сервера
6 maxim1249 702 29.11.2017, 17:27
автор: genjnat
Открытая тема (нет новых ответов) Помогите оценить новотник. Плиз
1 Alex-777 534 29.11.2017, 7:18
автор: grumdas


 



RSS Текстовая версия Сейчас: 18.12.2017, 7:48
Дизайн