X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt, как закрыть страницы
SATURN25
SATURN25
Topic Starter сообщение 19.4.2014, 17:39; Ответить: SATURN25
Сообщение #1


Участник
***

Группа: User
Сообщений: 153
Регистрация: 21.10.2013
Из: Россия, Оренбург
Поблагодарили: 14 раз
Репутация:   -11  


Такой вопрос уважаемые форумчане, сменил домен на сайте теперь надо сделать так чтоб не было дублей страниц. Как запретить боту гугла не индексировать всякий шлак типа : http://mysite.ru/raznovsyako/1835/. Не понимаю откуда столько берётся мусора. Подскажите какой директивой запретить индексацию таких страниц где на окончании присутствуют цифры эти...
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
D1gitex
D1gitex
сообщение 20.4.2014, 22:14; Ответить: D1gitex
Сообщение #2


Частый гость
**

Группа: User
Сообщений: 51
Регистрация: 10.6.2012
Поблагодарили: 10 раз
Репутация:   1  


в робтсе ссылки можно закрывать по какому то общему признаку - фильтр, пагинация, результаты поиска..
если нет общей переменной в адресе ссылки, тогда через мета тег ноиндекс, прописывать его на тех страницах, которые не должны попасть в индекс
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gweenpean
Gweenpean
сообщение 20.4.2014, 22:19; Ответить: Gweenpean
Сообщение #3


Старожил
******

Группа: Active User
Сообщений: 1156
Регистрация: 22.7.2011
Из: Ставрополье
Поблагодарили: 477 раз
Репутация:   64  


Вообще в последнее время Гугл плевать хотел на роботс. Кушает всё подряд...


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
D1gitex
D1gitex
сообщение 20.4.2014, 22:34; Ответить: D1gitex
Сообщение #4


Частый гость
**

Группа: User
Сообщений: 51
Регистрация: 10.6.2012
Поблагодарили: 10 раз
Репутация:   1  


Gweenpean, Это точно, но если закрыть в роботсе, прописывать мета теги и ре каноникал, то вроде нормально все работает :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SATURN25
SATURN25
Topic Starter сообщение 21.4.2014, 8:00; Ответить: SATURN25
Сообщение #5


Участник
***

Группа: User
Сообщений: 153
Регистрация: 21.10.2013
Из: Россия, Оренбург
Поблагодарили: 14 раз
Репутация:   -11  


Gweenpean, Вот я и мучаюсь, гуглу и вправду на роботс наплевать, приходится из панели вебмастера удалять по одной ссылке, посмотрим что получится. Сейчас вижу что удаляются,но не появились бы они опять при обходе робота гугла.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
HNPBAHA
HNPBAHA
сообщение 21.4.2014, 10:05; Ответить: HNPBAHA
Сообщение #6


Новичок
*

Группа: Viewer
Сообщений: 13
Регистрация: 24.2.2014
Поблагодарили: 4 раза
Репутация:   0  


Если такие страницы появились вам не с роботсом надо разбираться а с вашей CMS почему она создает такие URL и настраивать чтобы она отдавала страницу ошибки
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sitesell2011
sitesell2011
сообщение 22.4.2014, 10:33; Ответить: sitesell2011
Сообщение #7


Новичок
*


Группа: User
Сообщений: 24
Регистрация: 23.3.2011
Поблагодарили: 2 раза
Репутация:   0  


+100 человек полностью прав


--------------------
Домены RU с ТИЦ 50+ от 1400руб., база 2GIS сентябрь 2016 - 320руб.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47413 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 463 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1181 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 617 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 695 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 11.12.2017, 11:12
Дизайн