X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt для WP
Jooob
Jooob
Topic Starter сообщение 14.3.2012, 13:38; Ответить: Jooob
Сообщение #1


Участник
***

Группа: User
Сообщений: 146
Регистрация: 16.2.2012
Поблагодарили: 8 раз
Репутация:   3  


Доброго дня. Нуждаюсь в помощи по файлу robots.txt для кмс ВордПресс.
такая проблема: у меня стоит уже 5 апов вот такой робот.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

Host: мойсайт.ru
Sitemap: http://мойсайт/sitemap.xml

На сайте чистых страниц 150+ Проблема в следующем, яндекс не хочет кормиться ими в индексе всего 60-70 страниц и с каждым апом страниц больше не становится (хотя ежедневно добавляю новые страницы), а напротив бывает выплюнет до 30, а со след апа опять загонит до 70 -100 и опять выплевывает, это все с учетом того что в гугле 800+ страниц и гугл напротив не хочет выплевывать теги и индексирует все подряд, уже большое количество времени! сайт в индексе ПС сидит больше месяца. всего сайту 2 месяца.
Так вот подскажите правильный, такой робот, что бы и яндекс кушал хорошо и гугл, но с учетом того что бы в ПС не было не одного тега (метки), а только чистые единичные страницы сайта! Если для этого понадобится непременно мой сайт, скину в личку.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rus23kav
rus23kav
сообщение 14.3.2012, 13:53; Ответить: rus23kav
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 413
Регистрация: 13.7.2011
Поблагодарили: 97 раз
Репутация:   21  


У Яндекса эта процедура уже в порядке вещей, как и у гугла хавать что не просят! Однако можете дополнить ваш роботс закрытием категорий, комментов и такие ссылки как replytocom, может в гугле поменьше станет дублей.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jooob
Jooob
Topic Starter сообщение 15.3.2012, 23:37; Ответить: Jooob
Сообщение #3


Участник
***

Группа: User
Сообщений: 146
Регистрация: 16.2.2012
Поблагодарили: 8 раз
Репутация:   3  


если оставить теги открытыми для индексации поисковым системам, скажите пожалуйста плюсы и минусы данной процедур)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 15.3.2012, 23:47; Ответить: saraus
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


Если теги нормально оформлены, а не по 1 тегу на 1 статью, так же работает функция the excerpt или the_content с <!--more--> то от тегов ничего плохого от псов не будет. Если у вас настроен чпу я бы посоветовал в роботсе закрыть все /*? и подобное.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
remind4me
remind4me
сообщение 16.3.2012, 0:51; Ответить: remind4me
Сообщение #5


Новичок
*

Группа: User
Сообщений: 24
Регистрация: 22.2.2012
Из: Беларусь
Поблагодарили: 2 раза
Репутация:   0  


Jooob, а зачем вам такой robots.txt?
Такие излишества никчему, так как там все дублируется.
Оставьте только

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

Host: мойсайт.ru
Sitemap: http://мойсайт/sitemap.xml

а остальное выбросьте из него.


--------------------
Хочешь стать вебмастером - программируй, не можешь программировать - учись!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 16.3.2012, 1:27; Ответить: saraus
Сообщение #6


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


(remind4me @ 15.3.2012, 23:51) *
Такие излишества никчему, так как там все дублируется.


Ну говорят мол царь яшка любит когда для него отдельно прописывают.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jooob
Jooob
Topic Starter сообщение 16.3.2012, 10:39; Ответить: Jooob
Сообщение #7


Участник
***

Группа: User
Сообщений: 146
Регистрация: 16.2.2012
Поблагодарили: 8 раз
Репутация:   3  


прописал новый робот, открыл теги для индексации. Подожду апов посмотрим что получится.
Так же хочу услышать ваши комментарии по поводу нового робота smile.gif

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: сайт.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://сайт.ru/sitemap.xml

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Сделать видео для инстаграмма
0 katuwa 249 Сегодня, 0:13
автор: katuwa
Открытая тема (нет новых ответов) LSSender - лучший софт для работы с ВКонтакте
LSSender - программа для качественной рассылки и пиара во ВКонтакте
14 ange007 3981 Вчера, 23:56
автор: ange007
Открытая тема (нет новых ответов) CMS для соцсети с фотогалереями.
4 Gariks 922 Вчера, 21:55
автор: BeeBa
Горячая тема (нет новых ответов) Подскажите норм VPN-сервис для смартфона?
35 CyberAngel 6180 Вчера, 17:17
автор: Vlad_Sokolov
Открытая тема (нет новых ответов) Требуются копирайтеры для написания статей на тему варикоза. Тариф 40р за 1000 зн.б/п
Требуются копирайтеры для написания статей на тему варикоза
0 vlazarov 184 Вчера, 17:14
автор: vlazarov


 



RSS Текстовая версия Сейчас: 24.5.2018, 2:58
Дизайн