Помощник
 |
|
|
|
|
Сообщение сайта
|
 Какой Robots.txt правильный? |
SammoLove
|
Сообщение
#1
|
||
 Завсегдатай  Группа: Active User Сообщений: 654 Регистрация: 15.11.2007 Поблагодарили: 73 раза Репутация:  12 
 |
|
||
 |
|
||
|
seo2z
|
 15.9.2009, 7:43;
Ответить: seo2z
Сообщение
#2
|
 Поисковая оптимизация Группа: Active User Сообщений: 2373 Регистрация: 9.12.2008 Из: Санкт-Петербург Поблагодарили: 1253 раза Репутация: 173
|
вообще правильный второй, так как директивы host и sitemap по 2 раза указывать незачем. Но во втором не хватает Disallow, как в обоих других случаях... И во всех случаях перед сайтмапом ставится пустая строка. так что по идее правильных нет. Правильный был бы такой:
User-agent: Yandex
Disallow: /cgi-bin/ Disallow: /goto/ Host: www.site.ru User-agent: * Disallow: /cgi-bin/ Disallow: /goto/ Sitemap: http://www.site.ru/sitemap.xml -------------------- |
|
|
|
ilyazh
|
 15.9.2009, 7:53;
Ответить: ilyazh
Сообщение
#3
|
 Завсегдатай Группа: User Сообщений: 614 Регистрация: 19.8.2009 Поблагодарили: 20 раз Репутация: 3
|
User-agent: Yandex Host: www.site.ru User-agent: * Disallow: /cgi-bin/ Disallow: /goto/ Sitemap: http://www.site.ru/sitemap.xml А разве этот не тоже самое будет? Ведь так мы для всех ПС ограничим доступ к goto и cgi-bin или для яндекса нужно "специальное приглашение" (ограничивать лично для него отдельно, как в первых 3 случаях)? =) з.ы. да и User-agent: Yandex из моего варианта вроде тоже можно убрать Сообщение отредактировал ilyazh - 15.9.2009, 7:53 |
|
|
|
|
Futurman
|
15.9.2009, 8:55;
Ответить: Futurman
Сообщение
#4
|
 Завсегдатай Группа: Active User Сообщений: 545 Регистрация: 4.9.2009 Поблагодарили: 120 раз Репутация: 12
|
(ilyazh @ 15.9.2009, 8:53)  А разве этот не тоже самое будет? Ведь так мы для всех ПС ограничим доступ к goto и cgi-bin или для яндекса нужно "специальное приглашение" (ограничивать лично для него отдельно, как в первых 3 случаях)? =) з.ы. да и User-agent: Yandex из моего варианта вроде тоже можно убрать Просто есть мысли что Yandex видит только User-agent: Yandex и на все остальное забивает, так что лучше не мудрить и дублировать. Если вас что-то смущает можно сделать так: User-agent: * Disallow: /cgi-bin/ Disallow: /goto/ User-agent: Yandex Disallow: /cgi-bin/ Disallow: /goto/ Host: www.site.ru Sitemap: http://www.site.ru/sitemap.xml -------------------- |
|
|
|
|
SammoLove
|
Сообщение
#5
|
|
Завсегдатай Группа: Active User Сообщений: 654 Регистрация: 15.11.2007 Поблагодарили: 73 раза Репутация: 12
|
Sitemap в конце? Это можно расценить как только для яндекса. Вот видете - опять всё не так однозначно. Есть ещё мнения?
|
|
|
|
|
xomka
|
15.9.2009, 10:07;
Ответить: xomka
Сообщение
#6
|
 Старожил 
 Группа: Banned Сообщений: 1257 Регистрация: 9.2.2008 Из: Киев Поблагодарили: 190 раз Репутация: 22
|
(SammoLove @ 15.9.2009, 8:24) Sitemap в конце? Это можно расценить как только для яндекса. Вот видете - опять всё не так однозначно. Есть ещё мнения? почему, не только. 
|
|
|
|
|
JohnD
|
15.9.2009, 10:12;
Ответить: JohnD
Сообщение
#7
|
 Бывалый Группа: User Сообщений: 250 Регистрация: 2.4.2009 Из: Санкт-Петербург Поблагодарили: 98 раз Репутация: 9
|
User-agent: Yandex
Sitemap: http://www.site.ru/sitemap.xml Disallow: /cgi-bin/ Disallow: /goto/ Host: site.ru User-agent: * Sitemap: http://www.site.ru/sitemap.xml Disallow: /cgi-bin/ Disallow: /goto/ Я всегда делаю так и все работает. Sitemap прописываю после user-agent. |
|
|
|
|
Psyholord
|
15.9.2009, 10:23;
Ответить: Psyholord
Сообщение
#8
|
 Яндексу не устоять Группа: Active User Сообщений: 978 Регистрация: 20.2.2009 Из: Москва Поблагодарили: 269 раз Репутация: 31
|
User-agent: Yandex
Disallow: /cgi-bin/ Disallow: /goto/ User-agent: * Disallow: /cgi-bin/ Disallow: /goto/ Host: site.ru >>*****************************<< Sitemap: http://www.site.ru/sitemap.xml Я вот так делаю и все ок.По крайней мере в мануале яши так написано ну конечно не считая *********** Сообщение отредактировал Psyholord - 15.9.2009, 10:23 -------------------- |
|
|
|
|
Krot
|
15.9.2009, 10:36;
Ответить: Krot
Сообщение
#9
|
|
!!!! Группа: Active User Сообщений: 903 Регистрация: 12.10.2007 Поблагодарили: 61 раз Репутация: 37
|
В панеле вембастера http://webmaster.yandex.ru/wmconsole/analyze_robots_txt.xml есть инструмент (надо использовать с параметрами, после добавления сайта будет ссылка)
И там кажетсья на второй вкладке есть список используемых секций, вот так и по тестируйте. А голосование яндексу до одного места. Сообщение отредактировал Krot - 15.9.2009, 10:38 -------------------- |
|
|
|
|
Futurman
|
15.9.2009, 11:23;
Ответить: Futurman
Сообщение
#10
|
|
Завсегдатай Группа: Active User Сообщений: 545 Регистрация: 4.9.2009 Поблагодарили: 120 раз Репутация: 12
|
(SammoLove @ 15.9.2009, 10:24) Sitemap в конце? Это можно расценить как только для яндекса. Вот видете - опять всё не так однозначно. Есть ещё мнения? Перед сайтмапом пустая строка, т.е. это уже не привязка к конкретному юзер-агенту, он так сказать общий на всех и идет отдельно. -------------------- |
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Какой % отказов нормален для сайта? | 11 | Aloof | 2797 | 16.4.2024, 12:48 автор: diviner99 |
|
Кто где хранит файлы? И какой объем? просто интересно |
22 | mark2013 | 2633 | 15.4.2024, 8:08 автор: Room |
 |
Исчезающие фрилансеры после предоплаты. Зачем? Какой смысл? | 36 | metvekot | 9579 | 31.3.2024, 1:01 автор: Liudmila |
|
Через какой браузер и как можно найти в кэшэ браузера видео | 10 | Room | 2283 | 23.3.2024, 7:41 автор: Room |
|
 Какой сайт пробовать создавать под небольшое ГЕО? |
6 | kapusta1 | 1317 | 15.3.2024, 13:06 автор: OS_ZP_UA |
|
Текстовая версия | Сейчас: 18.4.2024, 12:16 |
