X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Настройка robots.txt
Skolzage
Skolzage
Topic Starter сообщение 11.4.2011, 20:42; Ответить: Skolzage
Сообщение #1


Участник
***

Группа: User
Сообщений: 172
Регистрация: 26.2.2011
Поблагодарили: 15 раз
Репутация:   2  


Посоветовали мне как то на форуме поставить robots.txt (указан ниже). Проверил, вроде как статьи разрешены для индексации, но индексация прекратилась. Раньше все отлично индексировалось (был другой r.txt). Писал в Я. ответили что ждите. Так вот вопрос. Здесь закрыты категории, каким образом робот будет индексировать вновь добавленные статьи? Будет ли это препятствием (проблемой)? В сети много советчиков, но по факту, на их блогах вообще нет этого файла, либо он состоит из 1 - 2х строк. Если кто с богатым практическим опытом подскажите пожалуйста.

User-agent: *
Crawl-delay: 5
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category/*/*
Disallow: /*?*
Disallow: /*?
Disallow: /tag
Host: site.ru
Sitemap: http://site/sitemap.xml
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BlackvsEvgen
BlackvsEvgen
сообщение 11.4.2011, 21:03; Ответить: BlackvsEvgen
Сообщение #2


Завсегдатай
*****

Группа: Banned
Сообщений: 724
Регистрация: 4.11.2009
Из: Украина
Поблагодарили: 142 раза
Репутация:   15  


У вас в урлах страниц с конетнтом есть /category/ ? Если есть, то уберите вот эту строчку
Disallow: /category/
А так вроде всё правильно и проверьте правильность в ВМ Яндекса.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Skolzage
Skolzage
Topic Starter сообщение 11.4.2011, 21:23; Ответить: Skolzage
Сообщение #3


Участник
***

Группа: User
Сообщений: 172
Регистрация: 26.2.2011
Поблагодарили: 15 раз
Репутация:   2  


(BlackvsEvgen @ 11.4.2011, 21:03) *
У вас в урлах страниц с конетнтом есть /category/ ? Если есть, то уберите вот эту строчку А так вроде всё правильно и проверьте правильность в ВМ Яндекса.



Да есть, убрал. Спасибо большое!

Обычно пишут для яндекса отдельные правила, в этом есть смысл? Или вариант приведенный выше работает также

Или ошибся, у меня ссылка на пост выглядит следующим образом

http://site.ru/kachaem-nogi/toshhie-nogi-n...g-dlya-nog.html

Я так понял не нужно убирать это Disallow: /category/? Или под категорией здесь подразумевается эта часть "kachaem-nogi" - ведь это и есть название категории
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MacLeo
MacLeo
сообщение 11.4.2011, 21:27; Ответить: MacLeo
Сообщение #4


тИЦ`анутый
******

Группа: Active User
Сообщений: 1126
Регистрация: 1.6.2010
Поблагодарили: 316 раз
Репутация:   49  


(Skolzage @ 11.4.2011, 20:23) *
Обычно пишут для яндекса отдельные правила, в этом есть смысл? Или вариант приведенный выше работает также

для Яндекса лучше отдельно прописать
(Skolzage @ 11.4.2011, 20:23) *
Я так понял не нужно убирать это Disallow: /category/? Или под категорией здесь подразумевается эта часть "kachaem-nogi" - ведь это и есть название категории

Ставьте стоку обратно.


--------------------
SEO аудиты | Сайты под ключ | Верстка | Продвижение | Web дизайн и наружная реклама
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jepps
Jepps
сообщение 11.4.2011, 21:28; Ответить: Jepps
Сообщение #5


Топовый постер
*******


Группа: Banned
Сообщений: 3062
Регистрация: 22.11.2009
Из: Москва
Поблагодарили: 1259 раз
Репутация:   178  


Skolzage, что мешает проверить индексацию страниц в панели вебмастера?


--------------------
Забанен за игнорирование обязательств по оплате труда (случай #2) и оскорбление администрации.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hatqier
hatqier
сообщение 11.4.2011, 21:35; Ответить: hatqier
Сообщение #6


Частый гость
**

Группа: Banned
Сообщений: 78
Регистрация: 18.8.2010
Поблагодарили: 13 раз
Репутация:   3  


Skolzage, поставьте вот такой роботс и всё:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: */comment-page*
Disallow: /tag
Allow: /
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: */comment-page*
Disallow: /tag
Allow: /
Host: site.ru

Sitemap: http://site.ru/sitemap.xml


И всё будет нормально индексироваться.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
143 contex1 65217 Сегодня, 9:07
автор: contex1
Открытая тема (нет новых ответов) Настройка и ведение ваших кампаний по контекстной рекламе Яндекс Директ и Гугл Эдвордс
2 AvramLincoln 505 11.12.2017, 13:18
автор: AvramLincoln
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47521 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Настройка лент для WPGrabber
4 vovan1 2654 18.11.2017, 1:59
автор: zkalinin
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 513 17.11.2017, 17:17
автор: coremission


 



RSS Текстовая версия Сейчас: 17.12.2017, 23:38
Дизайн