X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Помогите с роботс.тхт
bosker
bosker
Topic Starter сообщение 23.7.2010, 1:20; Ответить: bosker
Сообщение #1


заговорщик
*****

Группа: Banned
Сообщений: 957
Регистрация: 26.5.2010
Из: какого теста ты сделан?
Поблагодарили: 285 раз
Репутация:   74  


Есть сайт. Яндекс индексирует "поиск" меня это очень сильно злит. Я решил вставить что то в роботс.тхт Но не знаю что.

Вот страница которую он ест:

сайт.ру/index.php?module=search&do=result&id=2602887555


и там таких страниц 1000, он сам что то пишет и индексирует. Спасибо.

Скажите что сделать.


--------------------
заговорщик
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
knaipa
knaipa
сообщение 23.7.2010, 1:25; Ответить: knaipa
Сообщение #2


мошенник
*****

Группа: Banned
Сообщений: 984
Регистрация: 15.6.2010
Поблагодарили: 280 раз
Репутация:   60  


Для Я

User-agent: Yandex
Disallow: /index.php?module=search*

Для всех

User-agent: *
Disallow: /index.php?module=search*

ну или


User-agent: Yandex
Disallow: /*search*


User-agent: *
Disallow: /*search*

Сообщение отредактировал knaipa - 23.7.2010, 1:26


--------------------
Забанен за мошенничество


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bosker
bosker
Topic Starter сообщение 23.7.2010, 1:26; Ответить: bosker
Сообщение #3


заговорщик
*****

Группа: Banned
Сообщений: 957
Регистрация: 26.5.2010
Из: какого теста ты сделан?
Поблагодарили: 285 раз
Репутация:   74  


Спасибо мой друг!


--------------------
заговорщик
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lucky
lucky
сообщение 23.7.2010, 2:56; Ответить: lucky
Сообщение #4


Участник
***

Группа: User
Сообщений: 148
Регистрация: 30.6.2010
Из: Крым
Поблагодарили: 33 раза
Репутация:   2  


И вообще смени эту дурацкую Asseler CMS. Там сплошными баги.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dmg_shark
dmg_shark
сообщение 23.7.2010, 17:19; Ответить: dmg_shark
Сообщение #5


Участник
***

Группа: User
Сообщений: 120
Регистрация: 7.6.2010
Поблагодарили: 37 раз
Репутация:   9  


User-agent: Yandex
Disallow: /*search*


User-agent: *
Disallow: /*search*


Скажите, пожалуйста, зачем дублировать отдельно для Яндекса? unsure.gif Он не понимает того, что написано для всех?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bosker
bosker
Topic Starter сообщение 23.7.2010, 17:20; Ответить: bosker
Сообщение #6


заговорщик
*****

Группа: Banned
Сообщений: 957
Регистрация: 26.5.2010
Из: какого теста ты сделан?
Поблагодарили: 285 раз
Репутация:   74  


lucky Багов там нету. Я модули пишу и очень даже приличный двиг.

Сообщение отредактировал bosker - 23.7.2010, 17:21


--------------------
заговорщик
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
knaipa
knaipa
сообщение 23.7.2010, 19:53; Ответить: knaipa
Сообщение #7


мошенник
*****

Группа: Banned
Сообщений: 984
Регистрация: 15.6.2010
Поблагодарили: 280 раз
Репутация:   60  


dmg_shark
http://help.yandex.ru/webmaster/?id=996567


--------------------
Забанен за мошенничество
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dmg_shark
dmg_shark
сообщение 23.7.2010, 20:52; Ответить: dmg_shark
Сообщение #8


Участник
***

Группа: User
Сообщений: 120
Регистрация: 7.6.2010
Поблагодарили: 37 раз
Репутация:   9  


в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.


Ваш код, что для 'User-agent: Yandex', что для 'User-agent: *' одинаковый smile.gif
Зачем писать:
User-agent: Yandex
Disallow: /*search*


Если достаточно:
User-agent: *
Disallow: /*search*


Верно? Если верно, то зачем так делают - вот в чем вопрос. А мануал по robots.txt я знаю, но спасибо, повторение - мать учения smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
knaipa
knaipa
сообщение 23.7.2010, 21:00; Ответить: knaipa
Сообщение #9


мошенник
*****

Группа: Banned
Сообщений: 984
Регистрация: 15.6.2010
Поблагодарили: 280 раз
Репутация:   60  


В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.

А теперь давайте представим себе ситуацию когда сайтом управляют двое
Или цмска сама решила что-то прописать и добавила строку
User-agent: Yandex
- остальные директивы для яндекса перестанут иметь значение, а значит настройки роботса он перестанет учитывать кроме конкретных строк.

Не знаю как кто, но я лучше перестрахуюсь - нет возможности постоянно мониторить пачки роботсов.

Сообщение отредактировал knaipa - 23.7.2010, 21:00


--------------------
Забанен за мошенничество
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dmg_shark
dmg_shark
сообщение 23.7.2010, 21:05; Ответить: dmg_shark
Сообщение #10


Участник
***

Группа: User
Сообщений: 120
Регистрация: 7.6.2010
Поблагодарили: 37 раз
Репутация:   9  


Что значит CMS сама захотела? Пока chmod соответственный на robots.txt не поставишь - ничего не запишет wink.gif

Я имел ввиду данный конкретный случай. Практическое применение я то знаю и придумать могу много случаев для того, чтобы разделять (например нужно закрыть что-то только от Яндекса), но здесь совсем другое. Я к тому, что видел очень часто, что для User-agent: Yandex и User-agent: * пишут идентичные директивы, вот зачем? smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Помогите выбрать программу
Помогите выбрать программу
11 impak 1348 11.12.2017, 13:11
автор: Mikki
Открытая тема (нет новых ответов) Помогите найти плагин на WP
Отзывы с профилей соц сетей
1 SEOMR 445 30.11.2017, 7:18
автор: Nell
Открытая тема (нет новых ответов) Помогите найти проблему
Долгий ответ сервера
6 maxim1249 697 29.11.2017, 17:27
автор: genjnat
Открытая тема (нет новых ответов) Помогите оценить новотник. Плиз
1 Alex-777 529 29.11.2017, 7:18
автор: grumdas
Открытая тема (нет новых ответов) Помогите с неймингом для сборника советов
советы по разработки и жизни
11 coremission 1887 15.11.2017, 22:23
автор: rogefer


 



RSS Текстовая версия Сейчас: 16.12.2017, 19:05
Дизайн