X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Настройка robots.txt в интернет-магазине
rabota_esti
rabota_esti
Topic Starter сообщение 9.3.2015, 15:42; Ответить: rabota_esti
Сообщение #1


Спортивный SEOшник
*******

Группа: Active User
Сообщений: 2505
Регистрация: 8.6.2009
Поблагодарили: 593 раза
Репутация:   122  


Всем привет. Банальный вопрос, просто для уточнения. Раньше я никогда не работал с интернет-магазинами, поэтому опыта пока мало. Возник спор с системщиками по поводу настройки роботса. То есть вопрос такой. Я говорю, что в индексе не должно быть страниц товаров. То есть допустим вот этой:

http://kaida-fish.ru/catalog/telescopic_wi...ings/?PAGEN_1=2

При чем она находится в индексе по определенному запросу. Сниппет ужасный из-за этого, и вообще ее просто я считаю в индексе быть не должно. Так ли это? И отличается чем то настройка роботса в интернет-магазине от настройки у обычного сайта? Спасибо.


--------------------
Вы можете купить подпись. Пишите в ЛС ваши предложения.

Аудит и консультации
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Корсар
Корсар
сообщение 9.3.2015, 15:58; Ответить: Корсар
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 425
Регистрация: 25.9.2011
Из: Минск
Поблагодарили: 188 раз
Репутация:   29  


rabota_esti, страницы товаров должны быть, а это битриксовская пагинация, ее лучше запретить к индексации.

Цитата(rabota_esti @ 9.3.2015, 14:42) *
И отличается чем то настройка роботса в интернет-магазине от настройки у обычного сайта?

Чаще всего отличается, т.к. у магазинов из-за различных фильтров может генерироваться множество дублей.
Для гугла рекомендую в панели вебмастера настроить Сканирование -> Параметры URL, указав как поступать с конкретными параметрами. Для яндекса обычно хватает запрета в robots.

Сообщение отредактировал Корсар - 9.3.2015, 15:59
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rabota_esti
rabota_esti
Topic Starter сообщение 9.3.2015, 16:03; Ответить: rabota_esti
Сообщение #3


Спортивный SEOшник
*******

Группа: Active User
Сообщений: 2505
Регистрация: 8.6.2009
Поблагодарили: 593 раза
Репутация:   122  


Корсар, То есть указанный мною УРЛ должен быть в индексе? Как же мне тогда сделать так, чтобы по запросу выдавался нужный УРЛ, а не данный.


--------------------
Вы можете купить подпись. Пишите в ЛС ваши предложения.

Аудит и консультации
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Корсар
Корсар
сообщение 9.3.2015, 16:08; Ответить: Корсар
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 425
Регистрация: 25.9.2011
Из: Минск
Поблагодарили: 188 раз
Репутация:   29  


rabota_esti, нет, указанный вами урл - страница пагинации:
Цитата(Корсар @ 9.3.2015, 14:58) *
ее лучше запретить к индексации.


Пробегитесь по сайту каким-нибудь парсером наподобие netpeak spider - поищите подозрительные урлы, которые потом закройте с помощью роботса, мета-тегов или настройки параметров.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ortero
Ortero
сообщение 9.3.2015, 18:45; Ответить: Ortero
Сообщение #5


\m/_ _\m/
******

Группа: Active User
Сообщений: 1890
Регистрация: 23.2.2012
Поблагодарили: 837 раз
Репутация:   99  


Цитата(rabota_esti @ 9.3.2015, 14:42) *


Я бы оставил в индексе. Только бы для страниц пагинации сделал бы генерацию тайтлов и дескрипшенов.

Цитата
Как же мне тогда сделать так, чтобы по запросу выдавался нужный УРЛ, а не данный


Оптимизировать/пессимизировать целевую/нецелевую страницы.

Ну и не забудьте добавить в robots.txt это:

Код
Disallow: *?action=
Disallow: *?arrFilter=
Disallow: *?sort=




--------------------
Бегет - просто хороший хостинг, который еще и ssl-сертификат бесплатно дает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 10.3.2015, 14:34; Ответить: Risk
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 802
Регистрация: 5.7.2010
Из: Интернета
Поблагодарили: 146 раз
Репутация:   41  


я в битриксе такой роботс дефолт использую
Цитата
User-agent: *
Disallow: /*index.php$
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /upload/
Disallow: /search/
Disallow: /*/search/
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*?action=
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*print_course=Y
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*?PAGEN
Disallow: /*PAGEN_1=
Disallow: /*PAGEN_2=
Disallow: /*PAGEN_3=
Disallow: /*PAGEN_4=
Disallow: /*PAGEN_5=
Disallow: /*PAGEN_6=
Disallow: /*PAGEN_7=
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*SHOWALL
Disallow: /*show_all=
Disallow: /*about*
Host: site.ru

Sitemap: http://site/sitemap.xml

И добавляю еще мои не нужные страницы
а вот меня в битрексе беспокоит вывод одинаковых страниц, например
Цитата
site/news/21
site/news/23324fsd
site/news/sada3

и они будут одинаковые, как запретить или настроить радирект я не знаю.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zritex
Zritex
сообщение 9.4.2015, 18:17; Ответить: Zritex
Сообщение #7


Shine bright
******


Группа: Active User
Сообщений: 2007
Регистрация: 24.12.2008
Из: Чебоксары
Поблагодарили: 978 раз
Репутация:   233  


rabota_esti, если ещё не поздно!
Ни в коем случае не закрывайте пагинацию к индексации! Может возникнуть проблема с индексацией товаров на последних страницах.
И внутренние веса для последних товаров почти не дойдут!

Используйте директиву rel=canonical, я в битриксе её ставлю для пагинации и результатов фильтрации!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Видеомаркетинг как инструмент развития интернет-магазина
11 PostBrigada 2137 Сегодня, 20:30
автор: galikfor
Открытая тема (нет новых ответов) Вопрос по seo для интернет магазина
куда девать продвинутые товары, которые уже не выпускают
15 viktormerke 2545 Сегодня, 11:53
автор: Caterpillar
Горячая тема (нет новых ответов) Программа Human Emulator. Автоматизация различных задач в Интернет.
Автоматизация действий пользователя в браузере.
83 LagerAlexey 68550 Вчера, 23:02
автор: LagerAlexey
Открытая тема (нет новых ответов) Продвижение интернет-магазина в instagram
6 Whitedeni 1027 12.12.2017, 23:27
автор: Whitedeni
Открытая тема (нет новых ответов) Закажу аудит юзабилити интернет магазина
1 wagan 319 12.12.2017, 18:32
автор: Caterpillar


 



RSS Текстовая версия Сейчас: 14.12.2017, 23:09
Дизайн