X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Роботс.тхт, как с ним справится?
Arlekino
Arlekino
Topic Starter сообщение 29.4.2013, 12:58; Ответить: Arlekino
Сообщение #1


Участник
***

Группа: User
Сообщений: 150
Регистрация: 28.10.2010
Из: Киев
Поблагодарили: 16 раз
Репутация:   -4  


Яндекс постоянно находит другу релевантную страницу, мне уже надоело все их закрывать по одной, как закрыть все сразу, кроме необходимой? Гугл вроде такой фигней не мается, может для каждого робота отдельно указать команды? У меня сейчас так: User-agent: *

Основная ссылка: сайт.ком.юа/моя_ссылка.хтмл
Яша постоянно находит алтернативу типа:

Disallow: /?p=*
Disallow: /index.php?p=*
Disallow: /index.html?p=*
Disallow: /main.php$
Disallow: /main.php?p=5
Disallow: /?from=0&p=5
Disallow: /main.php?from=0&p=5

Они являются дублями основной или частью каталога который имеется на этой странице.

ЗЫ
Можно как-то оптимизировать такой код в роботс.тхт?

Сообщение отредактировал Arlekino - 29.4.2013, 13:11


--------------------
Хороший блог про сео
Агентство землеустройства arshin.com.ua решим все земельные вопросы
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SmartPower
SmartPower
сообщение 29.4.2013, 13:02; Ответить: SmartPower
Сообщение #2


Новичок
*

Группа: User
Сообщений: 36
Регистрация: 19.4.2013
Поблагодарили: 3 раза
Репутация:   2  


Ну так может примерную структуру самой ссылки кините в тему?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rom_4
rom_4
сообщение 29.4.2013, 13:37; Ответить: rom_4
Сообщение #3


трафа много не бывает
******

Группа: Active User
Сообщений: 1451
Регистрация: 9.7.2010
Из: Россия
Поблагодарили: 551 раз
Репутация:   62  


(Arlekino @ 29.4.2013, 12:58) *
Можно как-то оптимизировать такой код в роботс.тхт?


Можно.

Disallow: /*?
Disallow: /*&

и далее по аналогии. будут запрещены к индексации все страницы, где в урле встречается знак ? или &


--------------------
Зарабатываю тут, тут и тут


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Arlekino
Arlekino
Topic Starter сообщение 29.4.2013, 16:09; Ответить: Arlekino
Сообщение #4


Участник
***

Группа: User
Сообщений: 150
Регистрация: 28.10.2010
Из: Киев
Поблагодарили: 16 раз
Репутация:   -4  


rom_4, А можно ссылку, где подробно описано синтаксис для этого файла, ато я читал, что гуглбот не вопринимает знак* и таким кодом можно весь сайт закрыть от индексации...


--------------------
Хороший блог про сео
Агентство землеустройства arshin.com.ua решим все земельные вопросы
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
torrent24
torrent24
сообщение 10.5.2013, 16:07; Ответить: torrent24
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 252
Регистрация: 5.5.2013
Из: Крым
Поблагодарили: 13 раз
Репутация:   4  


Да , лучше пусть сделают проффи т.к. я сам наделал , потом еле разгрёб это всё
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
JOHNY
JOHNY
сообщение 10.5.2013, 16:34; Ответить: JOHNY
Сообщение #6


Топовый постер
*******


Группа: Active User
Сообщений: 4641
Регистрация: 23.8.2010
Из: Украина
Поблагодарили: 1804 раза
Репутация:   279  


А подскажите роботс для Host CMS


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prostohost
prostohost
сообщение 10.5.2013, 17:36; Ответить: prostohost
Сообщение #7


Участник
***

Группа: User
Сообщений: 126
Регистрация: 2.3.2009
Поблагодарили: 5 раз
Репутация:   -2  


Я бы посоветовал настроить ЧПУ через .htaccess
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


 



RSS Текстовая версия Сейчас: 18.12.2017, 23:00
Дизайн