X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Помогите с роботс.тхт
bosker
bosker
Topic Starter сообщение 23.7.2010, 1:20; Ответить: bosker
Сообщение #1


Есть сайт. Яндекс индексирует "поиск" меня это очень сильно злит. Я решил вставить что то в роботс.тхт Но не знаю что.

Вот страница которую он ест:

сайт.ру/index.php?module=search&do=result&id=2602887555


и там таких страниц 1000, он сам что то пишет и индексирует. Спасибо.

Скажите что сделать.


--------------------
заговорщик
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
knaipa
knaipa
сообщение 23.7.2010, 1:25; Ответить: knaipa
Сообщение #2


Для Я

User-agent: Yandex
Disallow: /index.php?module=search*

Для всех

User-agent: *
Disallow: /index.php?module=search*

ну или


User-agent: Yandex
Disallow: /*search*


User-agent: *
Disallow: /*search*

Сообщение отредактировал knaipa - 23.7.2010, 1:26


--------------------
Забанен за мошенничество


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bosker
bosker
Topic Starter сообщение 23.7.2010, 1:26; Ответить: bosker
Сообщение #3


Спасибо мой друг!


--------------------
заговорщик
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lucky
lucky
сообщение 23.7.2010, 2:56; Ответить: lucky
Сообщение #4


И вообще смени эту дурацкую Asseler CMS. Там сплошными баги.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dmg_shark
dmg_shark
сообщение 23.7.2010, 17:19; Ответить: dmg_shark
Сообщение #5


User-agent: Yandex
Disallow: /*search*


User-agent: *
Disallow: /*search*


Скажите, пожалуйста, зачем дублировать отдельно для Яндекса? unsure.gif Он не понимает того, что написано для всех?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bosker
bosker
Topic Starter сообщение 23.7.2010, 17:20; Ответить: bosker
Сообщение #6


lucky Багов там нету. Я модули пишу и очень даже приличный двиг.

Сообщение отредактировал bosker - 23.7.2010, 17:21


--------------------
заговорщик
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
knaipa
knaipa
сообщение 23.7.2010, 19:53; Ответить: knaipa
Сообщение #7


dmg_shark
http://help.yandex.ru/webmaster/?id=996567


--------------------
Забанен за мошенничество
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dmg_shark
dmg_shark
сообщение 23.7.2010, 20:52; Ответить: dmg_shark
Сообщение #8


в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.


Ваш код, что для 'User-agent: Yandex', что для 'User-agent: *' одинаковый smile.gif
Зачем писать:
User-agent: Yandex
Disallow: /*search*


Если достаточно:
User-agent: *
Disallow: /*search*


Верно? Если верно, то зачем так делают - вот в чем вопрос. А мануал по robots.txt я знаю, но спасибо, повторение - мать учения smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
knaipa
knaipa
сообщение 23.7.2010, 21:00; Ответить: knaipa
Сообщение #9


В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.

А теперь давайте представим себе ситуацию когда сайтом управляют двое
Или цмска сама решила что-то прописать и добавила строку
User-agent: Yandex
- остальные директивы для яндекса перестанут иметь значение, а значит настройки роботса он перестанет учитывать кроме конкретных строк.

Не знаю как кто, но я лучше перестрахуюсь - нет возможности постоянно мониторить пачки роботсов.

Сообщение отредактировал knaipa - 23.7.2010, 21:00


--------------------
Забанен за мошенничество
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dmg_shark
dmg_shark
сообщение 23.7.2010, 21:05; Ответить: dmg_shark
Сообщение #10


Что значит CMS сама захотела? Пока chmod соответственный на robots.txt не поставишь - ничего не запишет wink.gif

Я имел ввиду данный конкретный случай. Практическое применение я то знаю и придумать могу много случаев для того, чтобы разделять (например нужно закрыть что-то только от Яндекса), но здесь совсем другое. Я к тому, что видел очень часто, что для User-agent: Yandex и User-agent: * пишут идентичные директивы, вот зачем? smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПомогите придумать домен )
10 Silverspam 2224 1.5.2021, 19:13
автор: Starpony
Открытая тема (нет новых ответов) Помогите болвану обновить видеокарту :-)
16 club-16 1348 22.3.2021, 0:04
автор: adamsadriane
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПомогите подобрать HTML редактор
20 Serapion 1967 17.3.2021, 20:34
автор: dima280
Открытая тема (нет новых ответов) Помогите рещить проблему с монитором.
Почему низкое разрешение при подключении монитора через displayport?
0 Levels 564 11.12.2020, 0:48
автор: Levels
Открытая тема (нет новых ответов) Помогите кто нибудь получить партнерку Росбанк!
7 heisenberg_mw 722 7.8.2020, 9:28
автор: heisenberg_mw


 



RSS Текстовая версия Сейчас: 13.5.2021, 23:51
Дизайн