X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt, как закрыть страницы
SATURN25
SATURN25
Topic Starter сообщение 19.4.2014, 17:39; Ответить: SATURN25
Сообщение #1


Такой вопрос уважаемые форумчане, сменил домен на сайте теперь надо сделать так чтоб не было дублей страниц. Как запретить боту гугла не индексировать всякий шлак типа : http://mysite.ru/raznovsyako/1835/. Не понимаю откуда столько берётся мусора. Подскажите какой директивой запретить индексацию таких страниц где на окончании присутствуют цифры эти...
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
D1gitex
D1gitex
сообщение 20.4.2014, 22:14; Ответить: D1gitex
Сообщение #2


в робтсе ссылки можно закрывать по какому то общему признаку - фильтр, пагинация, результаты поиска..
если нет общей переменной в адресе ссылки, тогда через мета тег ноиндекс, прописывать его на тех страницах, которые не должны попасть в индекс
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gweenpean
Gweenpean
сообщение 20.4.2014, 22:19; Ответить: Gweenpean
Сообщение #3


Вообще в последнее время Гугл плевать хотел на роботс. Кушает всё подряд...


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
D1gitex
D1gitex
сообщение 20.4.2014, 22:34; Ответить: D1gitex
Сообщение #4


Gweenpean, Это точно, но если закрыть в роботсе, прописывать мета теги и ре каноникал, то вроде нормально все работает :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SATURN25
SATURN25
Topic Starter сообщение 21.4.2014, 8:00; Ответить: SATURN25
Сообщение #5


Gweenpean, Вот я и мучаюсь, гуглу и вправду на роботс наплевать, приходится из панели вебмастера удалять по одной ссылке, посмотрим что получится. Сейчас вижу что удаляются,но не появились бы они опять при обходе робота гугла.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
HNPBAHA
HNPBAHA
сообщение 21.4.2014, 10:05; Ответить: HNPBAHA
Сообщение #6


Если такие страницы появились вам не с роботсом надо разбираться а с вашей CMS почему она создает такие URL и настраивать чтобы она отдавала страницу ошибки
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sitesell2011
sitesell2011
сообщение 22.4.2014, 10:33; Ответить: sitesell2011
Сообщение #7


+100 человек полностью прав

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Домены RU с ТИЦ 50+ от 1400руб., база 2GIS сентябрь 2016 - 320руб.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 79029 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7641 28.3.2019, 18:31
автор: regem
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 2203 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 8345 1.3.2017, 3:20
автор: regem
Открытая тема (нет новых ответов) Работы по файлу robots.txt
8 tankoff 3707 19.3.2016, 20:02
автор: tankoff


 



RSS Текстовая версия Сейчас: 18.4.2024, 14:43
Дизайн