X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Помогите с robots.txt
quicks
quicks
Topic Starter сообщение 19.12.2010, 14:55; Ответить: quicks
Сообщение #1


Сайт на dle, вот собственно сам робот, и почему то в индекс лезит print, user, lastcomment, и т.д




Развернуть/Свернуть



User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Allow: /
Host: site.com
Sitemap: http://site.com/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Allow: /
Host: site.com
Sitemap: http://site.com/sitemap.xml





Сообщение отредактировал quicks - 19.12.2010, 14:56
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
сообщение 19.12.2010, 15:31; Ответить: FladeX
Сообщение #2


Файл составлен правильно. То, что бот запрашивает эти странички - не страшно. В индексе они всё равно не появятся, а это самое главное.

Allow только не в тему. С первого раза не заметил)

Сообщение отредактировал FladeX - 19.12.2010, 15:33
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bra1n
Bra1n
сообщение 19.12.2010, 15:35; Ответить: Bra1n
Сообщение #3


роботс составлен не правильно.

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://site.com/sitemap.xml
Host: site.com

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?dom
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html


Вот так в точности будет правильно
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 15:35; Ответить: Tollun
Сообщение #4


(Bra1n @ 19.12.2010, 21:35) *
Вот так в точности будет правильно

и у тебя неправильно smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bra1n
Bra1n
сообщение 19.12.2010, 15:38; Ответить: Bra1n
Сообщение #5


и у тебя неправильно smile.gif

и где же тут не правильно?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 15:51; Ответить: Tollun
Сообщение #6


(Bra1n @ 19.12.2010, 21:38) *
и где же тут не правильно?


у него неправильно, так будет звучать вернее

есть такое правило, если писать /xxx то будет запрещатся всё начинающиеся на это включая подкаталоги а если /xxx/ то только первый каталог а тот же /xxx/xx будет индексироваться.
по этому правильнее
Disallow: /backup
Disallow: /engine
Disallow: /language
Disallow: /templates
Disallow: /upgrade
Disallow: /uploads

Но вот почему-то у меня в индекс как то и таким образом запрещённый подкаталог залез (в ya)
поэтому чтобы наверняка, то
Disallow: /backup/*
Disallow: /engine/*
Disallow: /language/*
Disallow: /templates/*
Disallow: /upgrade/*
Disallow: /uploads/*
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bra1n
Bra1n
сообщение 19.12.2010, 15:58; Ответить: Bra1n
Сообщение #7


правильность роботса вы всегда можете проверить здесь http://webmaster.yandex.ru/robots.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 16:03; Ответить: Tollun
Сообщение #8


а так же ознакомится с мануалом по его использованию: http://help.yandex.ru/webmaster/?id=996567
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
сообщение 19.12.2010, 16:04; Ответить: FladeX
Сообщение #9


(Tollun @ 19.12.2010, 14:51) *
есть такое правило, если писать /xxx то будет запрещатся всё начинающиеся на это включая подкаталоги а если /xxx/ то только первый каталог а тот же /xxx/xx будет индексироваться.

Для таких случаев используется специальный символ $, обозначающий конец строки. Без этого символа под условие подходят все строки, имеющие указанную часть пути и любое продолжение - хоть слэш, хоть [a-z0-9].
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 19.12.2010, 16:06; Ответить: Tollun
Сообщение #10


(FladeX @ 19.12.2010, 22:04) *
Для таких случаев используется специальный символ $, обозначающий конец строки. Без этого символа под условие подходят все строки, имеющие указанную часть пути и любое продолжение - хоть слэш, хоть [a-z0-9].

речь не о том чтобы ограничить, а о том, чтобы небыло этого ограничения - именно поэтому * или отсутствие слэша на конце
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Помогите вспомнить рекламного бота Телеграм для обмена рекламой
0 Mixatraider 723 21.2.2024, 23:42
автор: Mixatraider
Открытая тема (нет новых ответов) Помогите рещить проблему с монитором.
Почему низкое разрешение при подключении монитора через displayport?
0 Levels 1701 11.12.2020, 0:48
автор: Levels
Открытая тема (нет новых ответов) Помогите кто нибудь получить партнерку Росбанк!
7 heisenberg_mw 2339 7.8.2020, 9:28
автор: heisenberg_mw
Открытая тема (нет новых ответов) Помогите найти тему пожалуйста
7 virtas 12448 24.7.2020, 17:02
автор: -JamesSmips-
Открытая тема (нет новых ответов) Помогите с поиском доноров
3 tehno_music 3350 4.11.2019, 17:15
автор: goblin78


 



RSS Текстовая версия Сейчас: 16.4.2024, 12:45
Дизайн