X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Что за Robots.txt такой?
xton
xton
Topic Starter сообщение 20.11.2009, 21:11; Ответить: xton
Сообщение #1


Оптимизаторр
*****

Группа: Active User
Сообщений: 748
Регистрация: 10.2.2008
Поблагодарили: 178 раз
Репутация:   20  


Анализировал один сайт и наткнулся на такой robots.txt

User-agent: Yandex
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc
Host: job4it.net

User-agent: *
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc

Файлы вытащить не удалось, что бы посмотреть что там за инструкции. Кто нибуть использовал такой робот и как эфект?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Lordie
Lordie
сообщение 20.11.2009, 21:13; Ответить: Lordie
Сообщение #2


Топовый постер
*******


Группа: Active User
Сообщений: 4737
Регистрация: 11.5.2008
Поблагодарили: 966 раз
Репутация:   153  


xton, а что с ним не так?.. обычное применение Wildcard


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
xton
xton
Topic Starter сообщение 21.11.2009, 13:05; Ответить: xton
Сообщение #3


Оптимизаторр
*****

Группа: Active User
Сообщений: 748
Регистрация: 10.2.2008
Поблагодарили: 178 раз
Репутация:   20  


Я толком описание что то не могу найти, раньше никогда не сталкивался с таким


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zaandr
Zaandr
сообщение 21.11.2009, 13:14; Ответить: Zaandr
Сообщение #4


Оптимист
*****

Группа: Active User
Сообщений: 701
Регистрация: 9.5.2008
Из: Санкт-Петербург
Поблагодарили: 97 раз
Репутация:   17  


для индексации запрещены док и пдф файлы. для яндекса указан основной домен. всё)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hitray
hitray
сообщение 21.11.2009, 13:14; Ответить: hitray
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 451
Регистрация: 20.12.2007
Из: Москва
Поблагодарили: 38 раз
Репутация:   8  


ну как, у них там вордовские файлы, которые не должны всплывать в поисковиках, ибо от этого нет никакого толку, вот их и закрыли от пауков.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
agentvini
agentvini
сообщение 21.11.2009, 13:22; Ответить: agentvini
Сообщение #6


wir werden alle sterben
******

Группа: Active User
Сообщений: 1076
Регистрация: 27.5.2008
Из: Москва
Поблагодарили: 234 раза
Репутация:   39  


Детектива для яши:
запрет на индекс в данных папках всех файлов с этими расширениями.
Определение для яши основного зеркала домена
User-agent: Yandex
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc
Host: job4it.net

детектива для всех остальных Пс, примерно тоже самое, только без указания основного зеркала домена.
User-agent: *
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc
если честно я бы еще отдельную детективу для гоши создал бы, так как он не всегда "*" на свой счет определяет...

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Профессиональная разработка сайтов на MODx
реализуем все ваши идеи качественно и быстро
цена от 500$ (skype sanche.s)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Американку в автосалоне заставили доказать, что она не робот
7 seostock 494 Сегодня, 15:24
автор: wertu
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыПошив одежды - что не так с сайтом ?
69 bridge8 7497 Вчера, 14:42
автор: про100та
Горячая тема (нет новых ответов) Что лучше, фриланс, удаленка, или работа в офисе солидной компании?
131 Levizar 14618 23.5.2018, 17:28
автор: andrey10tic
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыЧто вы делаете, когда лень работать?
70 Zoya83 3486 23.5.2018, 13:37
автор: wertu
Открытая тема (нет новых ответов) Что за подозрительные обратные ссылки?
появились какие то обрати странные
7 HavingingWorld 1431 13.5.2018, 10:36
автор: genjnat


 



RSS Текстовая версия Сейчас: 25.5.2018, 21:00
Дизайн