X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt для WP
Jooob
Jooob
Topic Starter сообщение 14.3.2012, 13:38; Ответить: Jooob
Сообщение #1


Доброго дня. Нуждаюсь в помощи по файлу robots.txt для кмс ВордПресс.
такая проблема: у меня стоит уже 5 апов вот такой робот.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

Host: мойсайт.ru
Sitemap: http://мойсайт/sitemap.xml

На сайте чистых страниц 150+ Проблема в следующем, яндекс не хочет кормиться ими в индексе всего 60-70 страниц и с каждым апом страниц больше не становится (хотя ежедневно добавляю новые страницы), а напротив бывает выплюнет до 30, а со след апа опять загонит до 70 -100 и опять выплевывает, это все с учетом того что в гугле 800+ страниц и гугл напротив не хочет выплевывать теги и индексирует все подряд, уже большое количество времени! сайт в индексе ПС сидит больше месяца. всего сайту 2 месяца.
Так вот подскажите правильный, такой робот, что бы и яндекс кушал хорошо и гугл, но с учетом того что бы в ПС не было не одного тега (метки), а только чистые единичные страницы сайта! Если для этого понадобится непременно мой сайт, скину в личку.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rus23kav
rus23kav
сообщение 14.3.2012, 13:53; Ответить: rus23kav
Сообщение #2


У Яндекса эта процедура уже в порядке вещей, как и у гугла хавать что не просят! Однако можете дополнить ваш роботс закрытием категорий, комментов и такие ссылки как replytocom, может в гугле поменьше станет дублей.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jooob
Jooob
Topic Starter сообщение 15.3.2012, 23:37; Ответить: Jooob
Сообщение #3


если оставить теги открытыми для индексации поисковым системам, скажите пожалуйста плюсы и минусы данной процедур)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 15.3.2012, 23:47; Ответить: saraus
Сообщение #4


Если теги нормально оформлены, а не по 1 тегу на 1 статью, так же работает функция the excerpt или the_content с <!--more--> то от тегов ничего плохого от псов не будет. Если у вас настроен чпу я бы посоветовал в роботсе закрыть все /*? и подобное.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
remind4me
remind4me
сообщение 16.3.2012, 0:51; Ответить: remind4me
Сообщение #5


Jooob, а зачем вам такой robots.txt?
Такие излишества никчему, так как там все дублируется.
Оставьте только

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */tag

Host: мойсайт.ru
Sitemap: http://мойсайт/sitemap.xml

а остальное выбросьте из него.


--------------------
Хочешь стать вебмастером - программируй, не можешь программировать - учись!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 16.3.2012, 1:27; Ответить: saraus
Сообщение #6


(remind4me @ 15.3.2012, 23:51) *
Такие излишества никчему, так как там все дублируется.


Ну говорят мол царь яшка любит когда для него отдельно прописывают.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jooob
Jooob
Topic Starter сообщение 16.3.2012, 10:39; Ответить: Jooob
Сообщение #7


прописал новый робот, открыл теги для индексации. Подожду апов посмотрим что получится.
Так же хочу услышать ваши комментарии по поводу нового робота smile.gif

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: сайт.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://сайт.ru/sitemap.xml

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
11 Aloof 2765 Сегодня, 12:48
автор: diviner99
Горячая тема (нет новых ответов) Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат
54 arendator 34796 Вчера, 15:16
автор: arendator
Горячая тема (нет новых ответов) ⭕Антидетект браузер AdsPower для эффективной работы с мультиаккаунтами!
83 AdsPower 24393 14.4.2024, 22:52
автор: AdsPower
Горячая тема (нет новых ответов) Настройки лент для wpgrabber
Настрою ленты любой сложности плагина WPGrabber для WordPress
42 zkalinin 30540 11.4.2024, 23:33
автор: zkalinin
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыСовременный сервис для быстрого и безопасного обмена валют.
14 CryptoTims 4734 11.4.2024, 15:29
автор: CryptoTims


 



RSS Текстовая версия Сейчас: 16.4.2024, 23:24
Дизайн