X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Какой Robots.txt правильный?
Какой Robots.txt правильный?
Какой правильный код robots.txt?
Первый [ 1 ] ** [25,00%]
Второй [ 2 ] ** [50,00%]
Третий [ 1 ] ** [25,00%]
Все [ 0 ] ** [0,00%]
Всего голосов: 4
  
SammoLove
SammoLove
Topic Starter сообщение 15.9.2009, 7:25; Ответить: SammoLove
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 15.11.2007
Из: Харьков
Поблагодарили: 73 раза
Репутация:   12  


Как-то вот озадачился. Там ведь последовательность важна. По-моему от частного к общему, и тогда второй. Сейчас используется первый.

1
User-agent: *
Disallow: /cgi-bin/
Disallow: /goto/
Sitemap: http://www.site.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /goto/
Sitemap: http://www.site.ru/sitemap.xml
Host: www.site.ru

2
User-agent: Yandex
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin/
Disallow: /goto/
Sitemap: http://www.site.ru/sitemap.xml

3
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /goto/
Sitemap: http://www.site.ru/sitemap.xml
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin/
Disallow: /goto/
Sitemap: http://www.site.ru/sitemap.xml


--------------------
2
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
seo2z
seo2z
сообщение 15.9.2009, 7:43; Ответить: seo2z
Сообщение #2


Поисковая оптимизация
******

Группа: Active User
Сообщений: 2373
Регистрация: 9.12.2008
Из: Санкт-Петербург
Поблагодарили: 1253 раза
Репутация:   173  


вообще правильный второй, так как директивы host и sitemap по 2 раза указывать незачем. Но во втором не хватает Disallow, как в обоих других случаях... И во всех случаях перед сайтмапом ставится пустая строка. так что по идее правильных нет. Правильный был бы такой:

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /goto/
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin/
Disallow: /goto/

Sitemap: http://www.site.ru/sitemap.xml


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ilyazh
ilyazh
сообщение 15.9.2009, 7:53; Ответить: ilyazh
Сообщение #3


Участник
***

Группа: User
Сообщений: 115
Регистрация: 19.8.2009
Поблагодарили: 20 раз
Репутация:   2  


User-agent: Yandex
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin/
Disallow: /goto/

Sitemap: http://www.site.ru/sitemap.xml

А разве этот не тоже самое будет? Ведь так мы для всех ПС ограничим доступ к goto и cgi-bin или для яндекса нужно "специальное приглашение" (ограничивать лично для него отдельно, как в первых 3 случаях)? =)

з.ы. да и User-agent: Yandex из моего варианта вроде тоже можно убрать

Сообщение отредактировал ilyazh - 15.9.2009, 7:53
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Futurman
Futurman
сообщение 15.9.2009, 8:55; Ответить: Futurman
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 545
Регистрация: 4.9.2009
Поблагодарили: 119 раз
Репутация:   12  


(ilyazh @ 15.9.2009, 8:53) *
А разве этот не тоже самое будет? Ведь так мы для всех ПС ограничим доступ к goto и cgi-bin или для яндекса нужно "специальное приглашение" (ограничивать лично для него отдельно, как в первых 3 случаях)? =)

з.ы. да и User-agent: Yandex из моего варианта вроде тоже можно убрать


Просто есть мысли что Yandex видит только User-agent: Yandex и на все остальное забивает, так что лучше не мудрить и дублировать. Если вас что-то смущает можно сделать так:

User-agent: *
Disallow: /cgi-bin/
Disallow: /goto/

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /goto/
Host: www.site.ru

Sitemap: http://www.site.ru/sitemap.xml


--------------------
..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SammoLove
SammoLove
Topic Starter сообщение 15.9.2009, 9:24; Ответить: SammoLove
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 15.11.2007
Из: Харьков
Поблагодарили: 73 раза
Репутация:   12  


Sitemap в конце? Это можно расценить как только для яндекса. Вот видете - опять всё не так однозначно. Есть ещё мнения?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
xomka
xomka
сообщение 15.9.2009, 10:07; Ответить: xomka
Сообщение #6


Старожил
******


Группа: Banned
Сообщений: 1257
Регистрация: 9.2.2008
Из: Киев
Поблагодарили: 190 раз
Репутация:   22  


(SammoLove @ 15.9.2009, 8:24) *
Sitemap в конце? Это можно расценить как только для яндекса. Вот видете - опять всё не так однозначно. Есть ещё мнения?


почему, не только. happy.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
JohnD
JohnD
сообщение 15.9.2009, 10:12; Ответить: JohnD
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 250
Регистрация: 2.4.2009
Из: Санкт-Петербург
Поблагодарили: 98 раз
Репутация:   9  


User-agent: Yandex
Sitemap: http://www.site.ru/sitemap.xml
Disallow: /cgi-bin/
Disallow: /goto/
Host: site.ru

User-agent: *
Sitemap: http://www.site.ru/sitemap.xml
Disallow: /cgi-bin/
Disallow: /goto/


Я всегда делаю так и все работает. Sitemap прописываю после user-agent.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Psyholord
Psyholord
сообщение 15.9.2009, 10:23; Ответить: Psyholord
Сообщение #8


Яндексу не устоять
*****

Группа: Active User
Сообщений: 974
Регистрация: 20.2.2009
Из: Москва
Поблагодарили: 269 раз
Репутация:   31  


User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /goto/

User-agent: *
Disallow: /cgi-bin/
Disallow: /goto/
Host: site.ru

>>*****************************<<

Sitemap: http://www.site.ru/sitemap.xml


Я вот так делаю и все ок.По крайней мере в мануале яши так написано ну конечно не считая ***********

Сообщение отредактировал Psyholord - 15.9.2009, 10:23


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Krot
Krot
сообщение 15.9.2009, 10:36; Ответить: Krot
Сообщение #9


webmaster
*****

Группа: Active User
Сообщений: 903
Регистрация: 12.10.2007
Из: Ростов
Поблагодарили: 61 раз
Репутация:   37  


В панеле вембастера http://webmaster.yandex.ru/wmconsole/analyze_robots_txt.xml есть инструмент (надо использовать с параметрами, после добавления сайта будет ссылка)
И там кажетсья на второй вкладке есть список используемых секций, вот так и по тестируйте. А голосование яндексу до одного места.

Сообщение отредактировал Krot - 15.9.2009, 10:38


--------------------
(sic!) Cообщения написаны в авторском стиле, и отклонения от правил орфографии и пунктуации русского языка являются авторской задумкой для узнаваемости принадлежности сообщения его автору
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Futurman
Futurman
сообщение 15.9.2009, 11:23; Ответить: Futurman
Сообщение #10


Завсегдатай
*****

Группа: Active User
Сообщений: 545
Регистрация: 4.9.2009
Поблагодарили: 119 раз
Репутация:   12  


(SammoLove @ 15.9.2009, 10:24) *
Sitemap в конце? Это можно расценить как только для яндекса. Вот видете - опять всё не так однозначно. Есть ещё мнения?


Перед сайтмапом пустая строка, т.е. это уже не привязка к конкретному юзер-агенту, он так сказать общий на всех и идет отдельно.


--------------------
..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Какой движок форума вам больше нравится?
Пожалуйста, не пройдите мимо, очень нужно
9 landis 782 15.12.2017, 14:48
автор: mmkulikov
Открытая тема (нет новых ответов) Какой из этих 2-х движков выбрать?
Желательно с аргументами:)
11 landis 728 14.12.2017, 13:02
автор: Caterpillar
Горячая тема (нет новых ответов) Какой посоветуете фильм в кино
69 ekaterina_a 4510 12.12.2017, 13:06
автор: Catherine_Molli
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47534 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) В какой топик добавлять услугу
Я недавно на форуме и хочется делать все правильно
9 maxix 1705 22.11.2017, 4:52
автор: another_way


 



RSS Текстовая версия Сейчас: 18.12.2017, 17:17
Дизайн