X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Стоит ли метки заносить в Robots.txt, если они облегчают навигацию на сайте?, Сайт попал под АГС, ищу причины
plenum
plenum
Topic Starter сообщение 1.4.2010, 14:10; Ответить: plenum
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 294
Регистрация: 13.4.2009
Поблагодарили: 105 раз
Репутация:   11  


Здравствуйте, уважаемые форумчане.

Один из моих сайтов попал под АГС, контент уникальный, ссылки не продаются. На сайте таксономия реализована следующим образом: каждая запись относится к одному из трех разделов.
То есть все материалы причисляются к типу записи (новости, фото, видео, обзоры и тд), к марке автомобиля (Honda, BMW и тд), а также к месяцу создания. Сайт сделан на WP, то есть все выгладит так:
Категории: новости, фото, видео, обзоры и тд
Метки: Honda, BMW и тд
Архив: Январь, Февраль, Март, Апрель и тд

На сайте контента не так много, около 30 материалов. Я предполагаю, что сайт попал под АГС из-за дублирования контента внутри сайта (robots.txt сейчас пустой). Я решил составить грамотный robots.txt, исключив все ненужные страницы, но по сути дела кроме вот этого не хочется писать в него:
User-agent: YandexBlog
Disallow:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/


Но скорее всего основной причиной АГСа стали метки и архив, но эти страницы улучшают навигацию по сайту, в том числе и поисковых роботов, а метки еще и привлекают посетителей. Скажите, что в данном случае лучше сделать? Закрыть от индексации и метки и архив, чтобы сайт ушел из под АГСа? Я так понял, что проблема возникла из-за того, что на сайте мало записей, не возникнет ли проблем после того, как я через месяца 3-4 открою метки в robots.txt, когда на моем сайте увеличится количество контента? Или вообще не стоит открывать теги?

Сообщение отредактировал plenum - 1.4.2010, 14:12
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
leksei
leksei
сообщение 7.4.2010, 13:09; Ответить: leksei
Сообщение #2


Участник
***

Группа: User
Сообщений: 130
Регистрация: 4.3.2010
Поблагодарили: 20 раз
Репутация:   1  


Если сайт сдл с "хорошим" контентом и попал под агс, то пиши платону. Может быть твой сайт не попал под агс, а просто повторяющиеся страницы яндекс выкинул из индекса.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Стоит ли раскручивать личную страничку ?
62 MakDonald 7757 Сегодня, 18:26
автор: Catherine_Molli
Открытая тема (нет новых ответов) Что делать если боты и поисковики грузят сервер?
Превышение нагрузки на сервер.
8 nahalturu 2285 Сегодня, 17:12
автор: vds4you
Открытая тема (нет новых ответов) Стоит ли подавать платную заявку в Яндекс Каталог для регионального издания?
12 DVORYAN 1730 Сегодня, 16:41
автор: vds4you
Открытая тема (нет новых ответов) 17 вещей на вашем сайте, которые ненавидят
Один из постулатов маркетинга — не раздражать людей
25 PostBrigada 3580 Вчера, 21:44
автор: alexandrrr
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПрибыль с видео на сайте и в соц сетях
Как получить доп доход с нативного контента
14 maxim_krasovskiy 2812 Вчера, 12:05
автор: maxim_krasovskiy


 



RSS Текстовая версия Сейчас: 13.12.2017, 19:40
Дизайн