X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Что за Robots.txt такой?
xton
xton
Topic Starter сообщение 20.11.2009, 21:11; Ответить: xton
Сообщение #1


Оптимизаторр
*****

Группа: Active User
Сообщений: 748
Регистрация: 10.2.2008
Поблагодарили: 178 раз
Репутация:   20  


Анализировал один сайт и наткнулся на такой robots.txt

User-agent: Yandex
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc
Host: job4it.net

User-agent: *
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc

Файлы вытащить не удалось, что бы посмотреть что там за инструкции. Кто нибуть использовал такой робот и как эфект?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Lordie
Lordie
сообщение 20.11.2009, 21:13; Ответить: Lordie
Сообщение #2


Топовый постер
*******


Группа: Active User
Сообщений: 4737
Регистрация: 11.5.2008
Поблагодарили: 966 раз
Репутация:   153  


xton, а что с ним не так?.. обычное применение Wildcard


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
xton
xton
Topic Starter сообщение 21.11.2009, 13:05; Ответить: xton
Сообщение #3


Оптимизаторр
*****

Группа: Active User
Сообщений: 748
Регистрация: 10.2.2008
Поблагодарили: 178 раз
Репутация:   20  


Я толком описание что то не могу найти, раньше никогда не сталкивался с таким


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zaandr
Zaandr
сообщение 21.11.2009, 13:14; Ответить: Zaandr
Сообщение #4


Оптимист
*****

Группа: Active User
Сообщений: 701
Регистрация: 9.5.2008
Из: Санкт-Петербург
Поблагодарили: 97 раз
Репутация:   17  


для индексации запрещены док и пдф файлы. для яндекса указан основной домен. всё)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hitray
hitray
сообщение 21.11.2009, 13:14; Ответить: hitray
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 451
Регистрация: 20.12.2007
Из: Москва
Поблагодарили: 38 раз
Репутация:   8  


ну как, у них там вордовские файлы, которые не должны всплывать в поисковиках, ибо от этого нет никакого толку, вот их и закрыли от пауков.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
agentvini
agentvini
сообщение 21.11.2009, 13:22; Ответить: agentvini
Сообщение #6


wir werden alle sterben
******

Группа: Active User
Сообщений: 1076
Регистрация: 27.5.2008
Из: Москва
Поблагодарили: 234 раза
Репутация:   39  


Детектива для яши:
запрет на индекс в данных папках всех файлов с этими расширениями.
Определение для яши основного зеркала домена
User-agent: Yandex
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc
Host: job4it.net

детектива для всех остальных Пс, примерно тоже самое, только без указания основного зеркала домена.
User-agent: *
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc
если честно я бы еще отдельную детективу для гоши создал бы, так как он не всегда "*" на свой счет определяет...


--------------------
Профессиональная разработка сайтов на MODx
реализуем все ваши идеи качественно и быстро
цена от 500$ (skype sanche.s)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Что делать если боты и поисковики грузят сервер?
Превышение нагрузки на сервер.
8 nahalturu 2291 Вчера, 17:12
автор: vds4you
Открытая тема (нет новых ответов) Adsense: много кликов, мало денег. Что делать?
Очень дешёвые клики по объявлениям
16 zeleboba 2421 Вчера, 17:00
автор: vds4you
Открытая тема (нет новых ответов) Пошив одежды - что не так с сайтом ?
18 bridge8 1249 Вчера, 14:01
автор: bridge8
Открытая тема (нет новых ответов) [Бесплатный тест] Airsocks. Инновационные мобильные 4G / LTE прокси. Забудь все что было раньше!
26 airsocks11 6106 12.12.2017, 22:41
автор: airsocks11
Горячая тема (нет новых ответов) Что лучше, фриланс, удаленка, или работа в офисе солидной компании?
95 Levizar 7728 12.12.2017, 21:57
автор: Зотов


 



RSS Текстовая версия Сейчас: 14.12.2017, 2:56
Дизайн