X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Что не так в Robots.txt?
rokot
rokot
Topic Starter сообщение 20.9.2012, 23:12; Ответить: rokot
Сообщение #1


Loading...
******

Группа: Super Moderator
Сообщений: 1619
Регистрация: 6.7.2012
Поблагодарили: 899 раз
Репутация:   133  


Развернуть/Свернуть
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page
Disallow: /*?*
Disallow: /*?
Disallow: /archives/
Disallow: /category/
Disallow: /search/
Disallow: /page/
Disallow: /tag/
Disallow: /xmlrpc.php
Allow: /wp-content/uploads
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page
Disallow: /*?*
Disallow: /*?
Disallow: /archives/
Disallow: /category/
Disallow: /search/
Disallow: /page/
Disallow: /tag/
Disallow: /xmlrpc.php
Allow: /wp-content/uploads
Sitemap: http://site.ru/sitemap.xml

Это мой роботс, скажите, что тут не так? Потому что в ЯВМ от индекса закрыты нормальные статьи.

И еще, написано: "исключено из индекса site.ru/primer.html" , но эта страница проиндексирована и находится в поиске

Сообщение отредактировал rokot - 20.9.2012, 23:11


--------------------
Дешевый и быстрый хостинг (US,RU сервера) | ПРОМОКОД на 10% - OFF10
Сайты на WordPress от 1500 рублей!
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jepps
Jepps
сообщение 20.9.2012, 23:16; Ответить: Jepps
Сообщение #2


Топовый постер
*******


Группа: Banned
Сообщений: 3062
Регистрация: 22.11.2009
Из: Москва
Поблагодарили: 1259 раз
Репутация:   178  


rokot, можно пример адреса, который сейчас закрыт от индексации?


--------------------
Забанен за игнорирование обязательств по оплате труда (случай #2) и оскорбление администрации.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rokot
rokot
Topic Starter сообщение 20.9.2012, 23:36; Ответить: rokot
Сообщение #3


Loading...
******

Группа: Super Moderator
Сообщений: 1619
Регистрация: 6.7.2012
Поблагодарили: 899 раз
Репутация:   133  


Jepps я вам пример в ЛС отправил. Надеюсь понятно написалsmile.gif

топик можно закрывать


--------------------
Дешевый и быстрый хостинг (US,RU сервера) | ПРОМОКОД на 10% - OFF10
Сайты на WordPress от 1500 рублей!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zik
zik
сообщение 21.9.2012, 0:51; Ответить: zik
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 450
Регистрация: 15.12.2007
Из: Belarus
Поблагодарили: 87 раз
Репутация:   26  


Вы бы для всех написали..у меня тоже похожий Robots


--------------------
вэп дисаен
C вами с 2007 года
ICQ 532011
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Красавчег
Красавчег
сообщение 21.9.2012, 1:07; Ответить: Красавчег
Сообщение #5


Говорю что думаю
*****

Группа: Active User
Сообщений: 683
Регистрация: 3.7.2010
Поблагодарили: 509 раз
Репутация:   71  


Открываете "анализ robots.txt" - http://webmaster.yandex.ru/robots.xml

Загружаете свой роботс, вставляете урлы и проверяете. Быстро и просто.


--------------------
Плюшки WordPress • Кнопки Яндекса


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
xEffector
xEffector
сообщение 21.9.2012, 23:45; Ответить: xEffector
Сообщение #6


Участник
***

Группа: User
Сообщений: 117
Регистрация: 20.3.2012
Поблагодарили: 38 раз
Репутация:   8  


(rokot @ 20.9.2012, 23:12) *
Disallow: /page/


Чисто исходя из логики, вы запрещаете к индексации важный элемент сайта, по которому передвигаются роботы, а так как этот элемент запрещён, роботы не могут по нему передвигаться.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
vmggu
vmggu
сообщение 22.9.2012, 12:43; Ответить: vmggu
Сообщение #7


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 16.9.2012
Поблагодарили: 3 раза
Репутация:   0  


Вполне достаточно для роботса:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Сообщение отредактировал bum - 22.9.2012, 13:19
Причина редактирования: -избыточное цитирование
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
PoliteX
PoliteX
сообщение 23.9.2012, 10:33; Ответить: PoliteX
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 97
Регистрация: 1.7.2010
Поблагодарили: 11 раз
Репутация:   1  


User-Agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Host: site.ru

User-Agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Allow: /wp-content/uploads/data
Host: site.ru

Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Пошив одежды - что не так с сайтом ?
25 bridge8 1728 15.12.2017, 22:55
автор: Emtec
Горячая тема (нет новых ответов) Что лучше, фриланс, удаленка, или работа в офисе солидной компании?
97 Levizar 8059 15.12.2017, 13:51
автор: Smspva
Открытая тема (нет новых ответов) [Бесплатный тест] Airsocks. Инновационные мобильные 4G / LTE прокси. Забудь все что было раньше!
27 airsocks11 6304 15.12.2017, 3:22
автор: airsocks11
Открытая тема (нет новых ответов) Что делать если боты и поисковики грузят сервер?
Превышение нагрузки на сервер.
8 nahalturu 2316 13.12.2017, 17:12
автор: vds4you
Открытая тема (нет новых ответов) Adsense: много кликов, мало денег. Что делать?
Очень дешёвые клики по объявлениям
16 zeleboba 2459 13.12.2017, 17:00
автор: vds4you


 



RSS Текстовая версия Сейчас: 17.12.2017, 2:44
Дизайн