X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Что за Robots.txt такой?
xton
xton
Topic Starter сообщение 20.11.2009, 21:11; Ответить: xton
Сообщение #1


Анализировал один сайт и наткнулся на такой robots.txt

User-agent: Yandex
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc
Host: job4it.net

User-agent: *
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc

Файлы вытащить не удалось, что бы посмотреть что там за инструкции. Кто нибуть использовал такой робот и как эфект?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Lordie
Lordie
сообщение 20.11.2009, 21:13; Ответить: Lordie
Сообщение #2


xton, а что с ним не так?.. обычное применение Wildcard


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
xton
xton
Topic Starter сообщение 21.11.2009, 13:05; Ответить: xton
Сообщение #3


Я толком описание что то не могу найти, раньше никогда не сталкивался с таким


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zaandr
Zaandr
сообщение 21.11.2009, 13:14; Ответить: Zaandr
Сообщение #4


для индексации запрещены док и пдф файлы. для яндекса указан основной домен. всё)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hitray
hitray
сообщение 21.11.2009, 13:14; Ответить: hitray
Сообщение #5


ну как, у них там вордовские файлы, которые не должны всплывать в поисковиках, ибо от этого нет никакого толку, вот их и закрыли от пауков.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
agentvini
agentvini
сообщение 21.11.2009, 13:22; Ответить: agentvini
Сообщение #6


Детектива для яши:
запрет на индекс в данных папках всех файлов с этими расширениями.
Определение для яши основного зеркала домена
User-agent: Yandex
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc
Host: job4it.net

детектива для всех остальных Пс, примерно тоже самое, только без указания основного зеркала домена.
User-agent: *
Disallow: /info/instrukcii/files/*.rtf
Disallow: /info/instrukcii/files/*.doc
если честно я бы еще отдельную детективу для гоши создал бы, так как он не всегда "*" на свой счет определяет...

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Профессиональная разработка сайтов на MODx
реализуем все ваши идеи качественно и быстро
цена от 500$ (skype sanche.s)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыВо что Вы играете?
400 Vmir 67984 20.4.2024, 18:39
автор: SaintExchange
Горячая тема (нет новых ответов) Во что сегодня инвестировать?
Делимся своими приносящими прибыль вариантами
76 traveliver 5095 20.4.2024, 18:27
автор: SaintExchange
Открытая тема (нет новых ответов) "Извините, что ожидание затянулось, но не думайте, пожалуйста, что мы про вас забыли. Мы заводим задачи по всем обращениям и контролируем работу над ними самым тщательным образом."
Вопрос
0 kuz999 1252 5.2.2024, 14:06
автор: kuz999
Открытая тема (нет новых ответов) Finkort - Финансовая партнерская сеть. Мы знаем, что вам нужно.
2 Finkort 1621 28.9.2023, 16:04
автор: Finkort
Открытая тема (нет новых ответов) Что случилось с тизеркой BodyClick?
1 Boymaster 1009 22.9.2023, 10:45
автор: Boymaster


 



RSS Текстовая версия Сейчас: 25.4.2024, 12:26
Дизайн