X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Настройка robots.txt
Skolzage
Skolzage
Topic Starter сообщение 11.4.2011, 20:42; Ответить: Skolzage
Сообщение #1


Посоветовали мне как то на форуме поставить robots.txt (указан ниже). Проверил, вроде как статьи разрешены для индексации, но индексация прекратилась. Раньше все отлично индексировалось (был другой r.txt). Писал в Я. ответили что ждите. Так вот вопрос. Здесь закрыты категории, каким образом робот будет индексировать вновь добавленные статьи? Будет ли это препятствием (проблемой)? В сети много советчиков, но по факту, на их блогах вообще нет этого файла, либо он состоит из 1 - 2х строк. Если кто с богатым практическим опытом подскажите пожалуйста.

User-agent: *
Crawl-delay: 5
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category/*/*
Disallow: /*?*
Disallow: /*?
Disallow: /tag
Host: site.ru
Sitemap: http://site/sitemap.xml
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BlackvsEvgen
BlackvsEvgen
сообщение 11.4.2011, 21:03; Ответить: BlackvsEvgen
Сообщение #2


У вас в урлах страниц с конетнтом есть /category/ ? Если есть, то уберите вот эту строчку
Disallow: /category/
А так вроде всё правильно и проверьте правильность в ВМ Яндекса.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Skolzage
Skolzage
Topic Starter сообщение 11.4.2011, 21:23; Ответить: Skolzage
Сообщение #3


(BlackvsEvgen @ 11.4.2011, 21:03) *
У вас в урлах страниц с конетнтом есть /category/ ? Если есть, то уберите вот эту строчку А так вроде всё правильно и проверьте правильность в ВМ Яндекса.



Да есть, убрал. Спасибо большое!

Обычно пишут для яндекса отдельные правила, в этом есть смысл? Или вариант приведенный выше работает также

Или ошибся, у меня ссылка на пост выглядит следующим образом

http://site.ru/kachaem-nogi/toshhie-nogi-n...g-dlya-nog.html

Я так понял не нужно убирать это Disallow: /category/? Или под категорией здесь подразумевается эта часть "kachaem-nogi" - ведь это и есть название категории
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MacLeo
MacLeo
сообщение 11.4.2011, 21:27; Ответить: MacLeo
Сообщение #4


(Skolzage @ 11.4.2011, 20:23) *
Обычно пишут для яндекса отдельные правила, в этом есть смысл? Или вариант приведенный выше работает также

для Яндекса лучше отдельно прописать
(Skolzage @ 11.4.2011, 20:23) *
Я так понял не нужно убирать это Disallow: /category/? Или под категорией здесь подразумевается эта часть "kachaem-nogi" - ведь это и есть название категории

Ставьте стоку обратно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jepps
Jepps
сообщение 11.4.2011, 21:28; Ответить: Jepps
Сообщение #5


Skolzage, что мешает проверить индексацию страниц в панели вебмастера?


--------------------
Забанен за игнорирование обязательств по оплате труда (случай #2) и оскорбление администрации.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hatqier
hatqier
сообщение 11.4.2011, 21:35; Ответить: hatqier
Сообщение #6


Skolzage, поставьте вот такой роботс и всё:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: */comment-page*
Disallow: /tag
Allow: /
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: */comment-page*
Disallow: /tag
Allow: /
Host: site.ru

Sitemap: http://site.ru/sitemap.xml


И всё будет нормально индексироваться.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыНастройка яндекс директ рекламы БЕЗ РАСХОДОВ БЮДЖЕТА
Количество продаж будет ОГРАНИЧЕННО!
22 ITstaf 4418 23.4.2024, 21:00
автор: 100ftd
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКомплексное продвижение в соцсетях: аудит, оформление, ведение и настройка рекламных кампаний.
Качественно и по вкусным ценам.
91 WildWeb8 62765 17.1.2024, 13:04
автор: WildWeb8
Открытая тема (нет новых ответов) Профессиональная настройка Яндекс Директ и Google Ads
1 Irina090 1250 24.9.2022, 22:44
автор: alex2211
Открытая тема (нет новых ответов) Настройка и ведение контекстной рекламы Google Ads и Яндекс.Директ «под ключ»
7 KKO 7936 8.7.2021, 12:04
автор: KKO
Открытая тема (нет новых ответов) Настройка Яндекс директ, Google Ads , обход п.15
0 papic 1220 1.2.2021, 8:49
автор: papic


 



RSS Текстовая версия Сейчас: 25.4.2024, 4:01
Дизайн