Помощник
|
Какой Robots.txt правильный? |
SammoLove
|
Сообщение
#1
|
||
|
|
||
|
|||
seo2z |
15.9.2009, 7:43;
Ответить: seo2z
Сообщение
#2
|
|
вообще правильный второй, так как директивы host и sitemap по 2 раза указывать незачем. Но во втором не хватает Disallow, как в обоих других случаях... И во всех случаях перед сайтмапом ставится пустая строка. так что по идее правильных нет. Правильный был бы такой:
User-agent: Yandex
Disallow: /cgi-bin/ Disallow: /goto/ Host: www.site.ru User-agent: * Disallow: /cgi-bin/ Disallow: /goto/ Sitemap: http://www.site.ru/sitemap.xml -------------------- |
|
|
ilyazh |
15.9.2009, 7:53;
Ответить: ilyazh
Сообщение
#3
|
|
User-agent: Yandex Host: www.site.ru User-agent: * Disallow: /cgi-bin/ Disallow: /goto/ Sitemap: http://www.site.ru/sitemap.xml А разве этот не тоже самое будет? Ведь так мы для всех ПС ограничим доступ к goto и cgi-bin или для яндекса нужно "специальное приглашение" (ограничивать лично для него отдельно, как в первых 3 случаях)? =) з.ы. да и User-agent: Yandex из моего варианта вроде тоже можно убрать Сообщение отредактировал ilyazh - 15.9.2009, 7:53 |
|
|
Futurman |
15.9.2009, 8:55;
Ответить: Futurman
Сообщение
#4
|
|
А разве этот не тоже самое будет? Ведь так мы для всех ПС ограничим доступ к goto и cgi-bin или для яндекса нужно "специальное приглашение" (ограничивать лично для него отдельно, как в первых 3 случаях)? =) з.ы. да и User-agent: Yandex из моего варианта вроде тоже можно убрать Просто есть мысли что Yandex видит только User-agent: Yandex и на все остальное забивает, так что лучше не мудрить и дублировать. Если вас что-то смущает можно сделать так: User-agent: * Disallow: /cgi-bin/ Disallow: /goto/ User-agent: Yandex Disallow: /cgi-bin/ Disallow: /goto/ Host: www.site.ru Sitemap: http://www.site.ru/sitemap.xml -------------------- |
|
|
SammoLove
|
Сообщение
#5
|
|
Sitemap в конце? Это можно расценить как только для яндекса. Вот видете - опять всё не так однозначно. Есть ещё мнения?
|
|
|
xomka |
15.9.2009, 10:07;
Ответить: xomka
Сообщение
#6
|
|
|
|
|
JohnD |
15.9.2009, 10:12;
Ответить: JohnD
Сообщение
#7
|
|
User-agent: Yandex
Sitemap: http://www.site.ru/sitemap.xml Disallow: /cgi-bin/ Disallow: /goto/ Host: site.ru User-agent: * Sitemap: http://www.site.ru/sitemap.xml Disallow: /cgi-bin/ Disallow: /goto/ Я всегда делаю так и все работает. Sitemap прописываю после user-agent. |
|
|
Psyholord |
15.9.2009, 10:23;
Ответить: Psyholord
Сообщение
#8
|
|
User-agent: Yandex
Disallow: /cgi-bin/ Disallow: /goto/ User-agent: * Disallow: /cgi-bin/ Disallow: /goto/ Host: site.ru >>*****************************<< Sitemap: http://www.site.ru/sitemap.xml Я вот так делаю и все ок.По крайней мере в мануале яши так написано ну конечно не считая *********** Сообщение отредактировал Psyholord - 15.9.2009, 10:23 -------------------- |
|
|
Krot |
15.9.2009, 10:36;
Ответить: Krot
Сообщение
#9
|
|
В панеле вембастера http://webmaster.yandex.ru/wmconsole/analyze_robots_txt.xml есть инструмент (надо использовать с параметрами, после добавления сайта будет ссылка)
И там кажетсья на второй вкладке есть список используемых секций, вот так и по тестируйте. А голосование яндексу до одного места. Сообщение отредактировал Krot - 15.9.2009, 10:38 -------------------- |
|
|
Futurman |
15.9.2009, 11:23;
Ответить: Futurman
Сообщение
#10
|
|
Sitemap в конце? Это можно расценить как только для яндекса. Вот видете - опять всё не так однозначно. Есть ещё мнения? Перед сайтмапом пустая строка, т.е. это уже не привязка к конкретному юзер-агенту, он так сказать общий на всех и идет отдельно. -------------------- |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Какой % отказов нормален для сайта? | 11 | Aloof | 2819 | 16.4.2024, 12:48 автор: diviner99 |
|
Кто где хранит файлы? И какой объем? просто интересно |
22 | mark2013 | 2645 | 15.4.2024, 8:08 автор: Room |
|
Исчезающие фрилансеры после предоплаты. Зачем? Какой смысл? | 36 | metvekot | 9583 | 31.3.2024, 1:01 автор: Liudmila |
|
Через какой браузер и как можно найти в кэшэ браузера видео | 10 | Room | 2302 | 23.3.2024, 7:41 автор: Room |
|
Какой сайт пробовать создавать под небольшое ГЕО? | 6 | kapusta1 | 1319 | 15.3.2024, 13:06 автор: OS_ZP_UA |
Текстовая версия | Сейчас: 19.4.2024, 23:58 |