X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt для WP
Jooob
Jooob
Topic Starter сообщение 14.3.2012, 13:38; Ответить: Jooob
Сообщение #1


Участник
***

Группа: User
Сообщений: 146
Регистрация: 16.2.2012
Поблагодарили: 8 раз
Репутация:   3  


Доброго дня. Нуждаюсь в помощи по файлу robots.txt для кмс ВордПресс.
такая проблема: у меня стоит уже 5 апов вот такой робот.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

Host: мойсайт.ru
Sitemap: http://мойсайт/sitemap.xml

На сайте чистых страниц 150+ Проблема в следующем, яндекс не хочет кормиться ими в индексе всего 60-70 страниц и с каждым апом страниц больше не становится (хотя ежедневно добавляю новые страницы), а напротив бывает выплюнет до 30, а со след апа опять загонит до 70 -100 и опять выплевывает, это все с учетом того что в гугле 800+ страниц и гугл напротив не хочет выплевывать теги и индексирует все подряд, уже большое количество времени! сайт в индексе ПС сидит больше месяца. всего сайту 2 месяца.
Так вот подскажите правильный, такой робот, что бы и яндекс кушал хорошо и гугл, но с учетом того что бы в ПС не было не одного тега (метки), а только чистые единичные страницы сайта! Если для этого понадобится непременно мой сайт, скину в личку.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rus23kav
rus23kav
сообщение 14.3.2012, 13:53; Ответить: rus23kav
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 413
Регистрация: 13.7.2011
Поблагодарили: 97 раз
Репутация:   21  


У Яндекса эта процедура уже в порядке вещей, как и у гугла хавать что не просят! Однако можете дополнить ваш роботс закрытием категорий, комментов и такие ссылки как replytocom, может в гугле поменьше станет дублей.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jooob
Jooob
Topic Starter сообщение 15.3.2012, 23:37; Ответить: Jooob
Сообщение #3


Участник
***

Группа: User
Сообщений: 146
Регистрация: 16.2.2012
Поблагодарили: 8 раз
Репутация:   3  


если оставить теги открытыми для индексации поисковым системам, скажите пожалуйста плюсы и минусы данной процедур)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 15.3.2012, 23:47; Ответить: saraus
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


Если теги нормально оформлены, а не по 1 тегу на 1 статью, так же работает функция the excerpt или the_content с <!--more--> то от тегов ничего плохого от псов не будет. Если у вас настроен чпу я бы посоветовал в роботсе закрыть все /*? и подобное.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
remind4me
remind4me
сообщение 16.3.2012, 0:51; Ответить: remind4me
Сообщение #5


Новичок
*

Группа: User
Сообщений: 24
Регистрация: 22.2.2012
Из: Беларусь
Поблагодарили: 2 раза
Репутация:   0  


Jooob, а зачем вам такой robots.txt?
Такие излишества никчему, так как там все дублируется.
Оставьте только

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

Host: мойсайт.ru
Sitemap: http://мойсайт/sitemap.xml

а остальное выбросьте из него.


--------------------
Хочешь стать вебмастером - программируй, не можешь программировать - учись!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 16.3.2012, 1:27; Ответить: saraus
Сообщение #6


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


(remind4me @ 15.3.2012, 23:51) *
Такие излишества никчему, так как там все дублируется.


Ну говорят мол царь яшка любит когда для него отдельно прописывают.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jooob
Jooob
Topic Starter сообщение 16.3.2012, 10:39; Ответить: Jooob
Сообщение #7


Участник
***

Группа: User
Сообщений: 146
Регистрация: 16.2.2012
Поблагодарили: 8 раз
Репутация:   3  


прописал новый робот, открыл теги для индексации. Подожду апов посмотрим что получится.
Так же хочу услышать ваши комментарии по поводу нового робота smile.gif

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: сайт.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://сайт.ru/sitemap.xml

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыAdverten - Платформа для монетизации дэйтинг и общетематического трафика.
48 Cattani 11456 Сегодня, 12:09
автор: Cattani
Горячая тема (нет новых ответов) Программа для instagram Socialkit
190 socialkit 76516 Вчера, 20:13
автор: socialkit
Открытая тема (нет новых ответов) конструктор для одностраничника
14 mayap25 1947 Вчера, 18:57
автор: Cunningfox
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыGAMBLING.pro - СРА-сеть для профи
7 Gamblingpro 1880 Вчера, 18:55
автор: Gamblingpro
Открытая тема (нет новых ответов) Продвижение сайтов сателлитами. Создание сетки сателлитов для продвижения Вашего сайта
Эффективное продвижение сайтов с помощью сетки сателлитов
21 span4bob 13662 Вчера, 16:34
автор: span4bob


 



RSS Текстовая версия Сейчас: 19.10.2018, 13:25
Дизайн