X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Robots.txt
Atipichniy
Atipichniy
Topic Starter сообщение 23.9.2009, 14:54; Ответить: Atipichniy
Сообщение #1


Участник
***

Группа: User
Сообщений: 167
Регистрация: 30.9.2008
Поблагодарили: 18 раз
Репутация:   2  


Кто объяснит, чем отличается первый столбик от второго?

1

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /admin/
Disallow: /panel/
Disallow: /mchat
Disallow: /stuff/
Disallow: /forum/

2

User-Agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /admin/
Disallow: /panel/
Disallow: /mchat
Disallow: /stuff/
Disallow: /forum/
Disallow: /news/
Host: filmxe.ru


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
predator-hoi
predator-hoi
сообщение 23.9.2009, 14:59; Ответить: predator-hoi
Сообщение #2


Завсегдатай
*****


Группа: Active User
Сообщений: 591
Регистрация: 30.8.2009
Поблагодарили: 87 раз
Репутация:   8  


User-agent: * - для всех поисковиков
User-Agent: Yandex - для яши


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
donriga
donriga
сообщение 23.9.2009, 15:00; Ответить: donriga
Сообщение #3


клоновод
*****


Группа: Banned
Сообщений: 896
Регистрация: 13.9.2009
Из: Пермь
Поблагодарили: 317 раз
Репутация:   33  


Сложно сказать зачем так пишут два раза, но лучше писать для Яши тоже отдельно smile.gif Любит он так smile.gif


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
predator-hoi
predator-hoi
сообщение 23.9.2009, 15:02; Ответить: predator-hoi
Сообщение #4


Завсегдатай
*****


Группа: Active User
Сообщений: 591
Регистрация: 30.8.2009
Поблагодарили: 87 раз
Репутация:   8  


Url в директиве Host

Следует писать без аббревиатуры протокола передачи гипертекста, то есть без http:// и без закрывающего слеша /

Неправильно:

User-agent: Yandex
Disallow: /cgi-bin
Host: http://www.site.ru/

Правильно:

User-agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru

Директива host Является корректной только для робота Яндекса


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47445 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 477 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1187 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 695 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 13.12.2017, 5:46
Дизайн