X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt для WP
Jooob
Jooob
Topic Starter сообщение 14.3.2012, 13:38; Ответить: Jooob
Сообщение #1


Участник
***

Группа: User
Сообщений: 146
Регистрация: 16.2.2012
Поблагодарили: 8 раз
Репутация:   3  


Доброго дня. Нуждаюсь в помощи по файлу robots.txt для кмс ВордПресс.
такая проблема: у меня стоит уже 5 апов вот такой робот.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

Host: мойсайт.ru
Sitemap: http://мойсайт/sitemap.xml

На сайте чистых страниц 150+ Проблема в следующем, яндекс не хочет кормиться ими в индексе всего 60-70 страниц и с каждым апом страниц больше не становится (хотя ежедневно добавляю новые страницы), а напротив бывает выплюнет до 30, а со след апа опять загонит до 70 -100 и опять выплевывает, это все с учетом того что в гугле 800+ страниц и гугл напротив не хочет выплевывать теги и индексирует все подряд, уже большое количество времени! сайт в индексе ПС сидит больше месяца. всего сайту 2 месяца.
Так вот подскажите правильный, такой робот, что бы и яндекс кушал хорошо и гугл, но с учетом того что бы в ПС не было не одного тега (метки), а только чистые единичные страницы сайта! Если для этого понадобится непременно мой сайт, скину в личку.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rus23kav
rus23kav
сообщение 14.3.2012, 13:53; Ответить: rus23kav
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 413
Регистрация: 13.7.2011
Поблагодарили: 96 раз
Репутация:   21  


У Яндекса эта процедура уже в порядке вещей, как и у гугла хавать что не просят! Однако можете дополнить ваш роботс закрытием категорий, комментов и такие ссылки как replytocom, может в гугле поменьше станет дублей.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jooob
Jooob
Topic Starter сообщение 15.3.2012, 23:37; Ответить: Jooob
Сообщение #3


Участник
***

Группа: User
Сообщений: 146
Регистрация: 16.2.2012
Поблагодарили: 8 раз
Репутация:   3  


если оставить теги открытыми для индексации поисковым системам, скажите пожалуйста плюсы и минусы данной процедур)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 15.3.2012, 23:47; Ответить: saraus
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


Если теги нормально оформлены, а не по 1 тегу на 1 статью, так же работает функция the excerpt или the_content с <!--more--> то от тегов ничего плохого от псов не будет. Если у вас настроен чпу я бы посоветовал в роботсе закрыть все /*? и подобное.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
remind4me
remind4me
сообщение 16.3.2012, 0:51; Ответить: remind4me
Сообщение #5


Новичок
*

Группа: User
Сообщений: 24
Регистрация: 22.2.2012
Из: Беларусь
Поблагодарили: 2 раза
Репутация:   0  


Jooob, а зачем вам такой robots.txt?
Такие излишества никчему, так как там все дублируется.
Оставьте только

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

Host: мойсайт.ru
Sitemap: http://мойсайт/sitemap.xml

а остальное выбросьте из него.


--------------------
Хочешь стать вебмастером - программируй, не можешь программировать - учись!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 16.3.2012, 1:27; Ответить: saraus
Сообщение #6


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


(remind4me @ 15.3.2012, 23:51) *
Такие излишества никчему, так как там все дублируется.


Ну говорят мол царь яшка любит когда для него отдельно прописывают.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jooob
Jooob
Topic Starter сообщение 16.3.2012, 10:39; Ответить: Jooob
Сообщение #7


Участник
***

Группа: User
Сообщений: 146
Регистрация: 16.2.2012
Поблагодарили: 8 раз
Репутация:   3  


прописал новый робот, открыл теги для индексации. Подожду апов посмотрим что получится.
Так же хочу услышать ваши комментарии по поводу нового робота smile.gif

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: сайт.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://сайт.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по seo для интернет магазина
куда девать продвинутые товары, которые уже не выпускают
18 viktormerke 2739 Сегодня, 15:18
автор: Smspva
Открытая тема (нет новых ответов) ВНИМАНИЕ: Тема для обсуждения работ фотоконкурса «Новогодний косплей» 18+
6 admin 984 Сегодня, 15:14
автор: admin
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыSE Ranking – новый сервис для проверки позиций сайтов в поисковиках
173 seranking 158034 Сегодня, 14:29
автор: seranking
Открытая тема (нет новых ответов) SimplePay: Прием платежей на сайте для юридических и физических лиц
4 kuprum 478 Сегодня, 14:07
автор: kuprum
Открытая тема (нет новых ответов) LSender VK PRO - самая мощная программа для рассылки Вконтакте
0 BoRzZoY 258 Сегодня, 13:32
автор: BoRzZoY


 



RSS Текстовая версия Сейчас: 15.12.2017, 16:09
Дизайн