X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Настройка robots.txt
Skolzage
Skolzage
Topic Starter сообщение 11.4.2011, 20:42; Ответить: Skolzage
Сообщение #1


Участник
***

Группа: User
Сообщений: 172
Регистрация: 26.2.2011
Поблагодарили: 15 раз
Репутация:   2  


Посоветовали мне как то на форуме поставить robots.txt (указан ниже). Проверил, вроде как статьи разрешены для индексации, но индексация прекратилась. Раньше все отлично индексировалось (был другой r.txt). Писал в Я. ответили что ждите. Так вот вопрос. Здесь закрыты категории, каким образом робот будет индексировать вновь добавленные статьи? Будет ли это препятствием (проблемой)? В сети много советчиков, но по факту, на их блогах вообще нет этого файла, либо он состоит из 1 - 2х строк. Если кто с богатым практическим опытом подскажите пожалуйста.

User-agent: *
Crawl-delay: 5
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category/*/*
Disallow: /*?*
Disallow: /*?
Disallow: /tag
Host: site.ru
Sitemap: http://site/sitemap.xml
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BlackvsEvgen
BlackvsEvgen
сообщение 11.4.2011, 21:03; Ответить: BlackvsEvgen
Сообщение #2


Завсегдатай
*****

Группа: Banned
Сообщений: 724
Регистрация: 4.11.2009
Из: Украина
Поблагодарили: 142 раза
Репутация:   15  


У вас в урлах страниц с конетнтом есть /category/ ? Если есть, то уберите вот эту строчку
Disallow: /category/
А так вроде всё правильно и проверьте правильность в ВМ Яндекса.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Skolzage
Skolzage
Topic Starter сообщение 11.4.2011, 21:23; Ответить: Skolzage
Сообщение #3


Участник
***

Группа: User
Сообщений: 172
Регистрация: 26.2.2011
Поблагодарили: 15 раз
Репутация:   2  


(BlackvsEvgen @ 11.4.2011, 21:03) *
У вас в урлах страниц с конетнтом есть /category/ ? Если есть, то уберите вот эту строчку А так вроде всё правильно и проверьте правильность в ВМ Яндекса.



Да есть, убрал. Спасибо большое!

Обычно пишут для яндекса отдельные правила, в этом есть смысл? Или вариант приведенный выше работает также

Или ошибся, у меня ссылка на пост выглядит следующим образом

http://site.ru/kachaem-nogi/toshhie-nogi-n...g-dlya-nog.html

Я так понял не нужно убирать это Disallow: /category/? Или под категорией здесь подразумевается эта часть "kachaem-nogi" - ведь это и есть название категории
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MacLeo
MacLeo
сообщение 11.4.2011, 21:27; Ответить: MacLeo
Сообщение #4


тИЦ`анутый
******

Группа: Active User
Сообщений: 1126
Регистрация: 1.6.2010
Поблагодарили: 316 раз
Репутация:   49  


(Skolzage @ 11.4.2011, 20:23) *
Обычно пишут для яндекса отдельные правила, в этом есть смысл? Или вариант приведенный выше работает также

для Яндекса лучше отдельно прописать
(Skolzage @ 11.4.2011, 20:23) *
Я так понял не нужно убирать это Disallow: /category/? Или под категорией здесь подразумевается эта часть "kachaem-nogi" - ведь это и есть название категории

Ставьте стоку обратно.


--------------------
SEO аудиты | Сайты под ключ | Верстка | Продвижение | Web дизайн и наружная реклама
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jepps
Jepps
сообщение 11.4.2011, 21:28; Ответить: Jepps
Сообщение #5


Топовый постер
*******


Группа: Banned
Сообщений: 3062
Регистрация: 22.11.2009
Из: Москва
Поблагодарили: 1259 раз
Репутация:   178  


Skolzage, что мешает проверить индексацию страниц в панели вебмастера?


--------------------
Забанен за игнорирование обязательств по оплате труда (случай #2) и оскорбление администрации.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hatqier
hatqier
сообщение 11.4.2011, 21:35; Ответить: hatqier
Сообщение #6


Частый гость
**

Группа: Banned
Сообщений: 78
Регистрация: 18.8.2010
Поблагодарили: 13 раз
Репутация:   3  


Skolzage, поставьте вот такой роботс и всё:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: */comment-page*
Disallow: /tag
Allow: /
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: */comment-page*
Disallow: /tag
Allow: /
Host: site.ru

Sitemap: http://site.ru/sitemap.xml


И всё будет нормально индексироваться.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Настройка и ведение ваших компаний по контекстной рекламе Яндекс Директ и Гугл Эдвордс
7 AvramLincoln 1201 12.5.2018, 8:31
автор: AvramLincoln
Открытая тема (нет новых ответов) Настройка, оптимизация и введение Google AdWords и Яндекс.Директ
mkcontext.com
11 mkcontext 2449 9.5.2018, 12:13
автор: Palundra
Открытая тема (нет новых ответов) Настройка контекстной рекламы РСЯ за отзыв
2 pultr 1314 7.5.2018, 22:03
автор: VictorR
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49753 28.4.2018, 1:36
автор: Akira
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
155 contex1 70695 26.4.2018, 14:59
автор: contex1


 



RSS Текстовая версия Сейчас: 21.5.2018, 1:59
Дизайн