X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Файл robots.txt
alexxx1980
alexxx1980
Topic Starter сообщение 30.8.2011, 23:42; Ответить: alexxx1980
Сообщение #1


Участник
***

Группа: User
Сообщений: 229
Регистрация: 27.1.2009
Поблагодарили: 3 раза
Репутация:   0  


У меня файл robots.txt выглядит так:
User-Agent:*

Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml

У другой компании так:
User-agent: Yandex
Disallow: /index/
Disallow: /admin/
Host: www.сайт.ru

User-Agent: *
Disallow: /index/
Disallow: /admin/
Host: www.сайт.ru

Подскажите пожалуйста правильно ли у меня составлен файл robots.txt и почему у другого сайта есть и User-agent: Yandex и User-Agent: * ?
Подскажите новичку.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sickboy
Sickboy
сообщение 30.8.2011, 23:58; Ответить: Sickboy
Сообщение #2


Эффективное SEO
*****

Группа: Active User
Сообщений: 900
Регистрация: 18.11.2010
Из: Интернета
Поблагодарили: 624 раза
Репутация:   98  


(alexxx1980 @ 30.8.2011, 22:42) *
У другой компании так:


А какое вам дело до других компаний? У вас одинаковые сайты, чтобы роботс был одинаковым?

У вас прописана директива для всех роботов одна и та же, у "других компаний" прописана отдельно для Яндека и отдельно для всех остальных.

Если вы хотите узнать правильно ли у вас составлен файл роботс - покажите сайт, тут телепатов нет)

ЗЫ. Снова нужно к Дэвиду Блэйну... wink.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alexxx1980
alexxx1980
Topic Starter сообщение 31.8.2011, 0:03; Ответить: alexxx1980
Сообщение #3


Участник
***

Группа: User
Сообщений: 229
Регистрация: 27.1.2009
Поблагодарили: 3 раза
Репутация:   0  


(Sickboy @ 30.8.2011, 23:58) *
А какое вам дело до других компаний? У вас одинаковые сайты, чтобы роботс был одинаковым?

У вас прописана директива для всех роботов одна и та же, у "других компаний" прописана отдельно для Яндека и отдельно для всех остальных.

Если вы хотите узнать правильно ли у вас составлен файл роботс - покажите сайт, тут телепатов нет)

ЗЫ. Снова нужно к Дэвиду Блэйну... wink.gif


Это я для примера другой роботс прописал...
Смысл я в принципе понимаю, что одно для всех, другое отдельно для яндекса. Я не понисаю зачем так отдельно прописывать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 31.8.2011, 0:05; Ответить: Fallup
Сообщение #4


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


Все у вас правильно.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Brodyaga
Brodyaga
сообщение 31.8.2011, 0:54; Ответить: Brodyaga
Сообщение #5


Участник
***

Группа: User
Сообщений: 244
Регистрация: 24.12.2010
Из: Прекрасного далека
Поблагодарили: 34 раза
Репутация:   8  


(alexxx1980 @ 31.8.2011, 0:03) *
Я не понисаю зачем так отдельно прописывать?

Потому что бывает что яндекс забивает на

User-agent: *
Disallow: /index/

при запрете каких то страниц
Поэтому и пишут специально ему
User-agent: Yandex
Disallow: /index/


Но я лично с таким никогда не сталкивался и пишу постоянно условие для всех роботов, знакомы как то говорил что пришлось прописывать отдельно, чтобы он не индексировал то что запрещено все ботам
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 31.8.2011, 1:03; Ответить: serezka
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 442
Регистрация: 7.5.2011
Из: Санкт-Петербург
Поблагодарили: 154 раза
Репутация:   28  


alexxx1980
Яндекс любит когда для него повторно всё прописывают. Таким образом нужно делать грубоговоря 2 столбика - один для всех ПС, другой для яндекса.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
taxi2008
taxi2008
сообщение 31.8.2011, 2:37; Ответить: taxi2008
Сообщение #7


Оптимизатор
******

Группа: Active User
Сообщений: 2034
Регистрация: 29.7.2008
Поблагодарили: 470 раз
Репутация:   114  


ТС вам сюда
Прочтите внимательно по нескольку раз и все вопросы мигом отпадут!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47465 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 496 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1190 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 695 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 14.12.2017, 14:33
Дизайн