X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Файл robots.txt
alexxx1980
alexxx1980
Topic Starter сообщение 30.8.2011, 23:42; Ответить: alexxx1980
Сообщение #1


У меня файл robots.txt выглядит так:
User-Agent:*

Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml

У другой компании так:
User-agent: Yandex
Disallow: /index/
Disallow: /admin/
Host: www.сайт.ru

User-Agent: *
Disallow: /index/
Disallow: /admin/
Host: www.сайт.ru

Подскажите пожалуйста правильно ли у меня составлен файл robots.txt и почему у другого сайта есть и User-agent: Yandex и User-Agent: * ?
Подскажите новичку.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sickboy
Sickboy
сообщение 30.8.2011, 23:58; Ответить: Sickboy
Сообщение #2


(alexxx1980 @ 30.8.2011, 22:42) *
У другой компании так:


А какое вам дело до других компаний? У вас одинаковые сайты, чтобы роботс был одинаковым?

У вас прописана директива для всех роботов одна и та же, у "других компаний" прописана отдельно для Яндека и отдельно для всех остальных.

Если вы хотите узнать правильно ли у вас составлен файл роботс - покажите сайт, тут телепатов нет)

ЗЫ. Снова нужно к Дэвиду Блэйну... wink.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alexxx1980
alexxx1980
Topic Starter сообщение 31.8.2011, 0:03; Ответить: alexxx1980
Сообщение #3


(Sickboy @ 30.8.2011, 23:58) *
А какое вам дело до других компаний? У вас одинаковые сайты, чтобы роботс был одинаковым?

У вас прописана директива для всех роботов одна и та же, у "других компаний" прописана отдельно для Яндека и отдельно для всех остальных.

Если вы хотите узнать правильно ли у вас составлен файл роботс - покажите сайт, тут телепатов нет)

ЗЫ. Снова нужно к Дэвиду Блэйну... wink.gif


Это я для примера другой роботс прописал...
Смысл я в принципе понимаю, что одно для всех, другое отдельно для яндекса. Я не понисаю зачем так отдельно прописывать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 31.8.2011, 0:05; Ответить: Fallup
Сообщение #4


Все у вас правильно.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Brodyaga
Brodyaga
сообщение 31.8.2011, 0:54; Ответить: Brodyaga
Сообщение #5


(alexxx1980 @ 31.8.2011, 0:03) *
Я не понисаю зачем так отдельно прописывать?

Потому что бывает что яндекс забивает на

User-agent: *
Disallow: /index/

при запрете каких то страниц
Поэтому и пишут специально ему
User-agent: Yandex
Disallow: /index/


Но я лично с таким никогда не сталкивался и пишу постоянно условие для всех роботов, знакомы как то говорил что пришлось прописывать отдельно, чтобы он не индексировал то что запрещено все ботам
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 31.8.2011, 1:03; Ответить: serezka
Сообщение #6


alexxx1980
Яндекс любит когда для него повторно всё прописывают. Таким образом нужно делать грубоговоря 2 столбика - один для всех ПС, другой для яндекса.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
taxi2008
taxi2008
сообщение 31.8.2011, 2:37; Ответить: taxi2008
Сообщение #7


ТС вам сюда
Прочтите внимательно по нескольку раз и все вопросы мигом отпадут!

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
ХОСТИНГ, на котором держу свои сайты
Своим рефералам предоставлю 3 месяца хостинга бесплатно!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 78622 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7595 28.3.2019, 18:31
автор: regem
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 2187 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 8336 1.3.2017, 3:20
автор: regem
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыВопрос про файл .htacess...(Bitrix)
0 Исо 1609 6.8.2016, 10:34
автор: Исо


 



RSS Текстовая версия Сейчас: 29.3.2024, 13:18
Дизайн