X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> robots - несколько вопросов
djalin
djalin
Topic Starter сообщение 19.9.2014, 18:48; Ответить: djalin
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 414
Регистрация: 8.5.2011
Поблагодарили: 87 раз
Репутация:   9  


Увидел на блоге у человека вот такой роботс

Код
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /to/
Disallow: /&*
Disallow: />*
Disallow: /page/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /to/
Disallow: /&*
Disallow: />*
Disallow: /page/
Host: site.ru

Sitemap: http://site.ru/sitemap.xml


но например на запись
Цитата
Disallow: />*


яндекс ругается

еще видел такой
Код
User-agent: *
Crawl-delay: 1  
Disallow: /webstat/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */comments
Disallow: /comments
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: */trackback
Disallow: */feed
Disallow: /feed/
Disallow: */comments
Disallow: /category
Disallow: /category/*/*
Disallow: /tag
Disallow: /*?*
Disallow: /*?
Disallow: /to/
Disallow: /&*
Disallow: /page/

Sitemap: http://site.ru/sitemap.xml
Host: site.ru


но кажеться там есть повторы
Цитата
Disallow: /category
Disallow: /category/*/*


Или я ошибаюсь и там не лишнее?

Сообщение отредактировал djalin - 19.9.2014, 18:49


--------------------
Услуги: установка WP + плагины. Установка SAPE: wordpress/phpbb/Quick.Cms/некоторые самописы (php)
Хостинг - The HostVille
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
duoseo
duoseo
сообщение 19.9.2014, 21:16; Ответить: duoseo
Сообщение #2


Старожил
******

Группа: Active User
Сообщений: 1959
Регистрация: 24.11.2009
Из: Россия
Поблагодарили: 1192 раза
Репутация:   216  


Цитата(djalin @ 19.9.2014, 17:48) *
Disallow: /category
Disallow: /category/*/*

Не лишнее. Например, вам же не надо индексировать не только http://site.ru/category/, но и вторую - http://site.ru/category/hotels/page/2/ , третью и так далее страницы этой категории. Если надо закрыть все кроме первой - то да, лишнее, но обычно закрывают такие подстранички, они не нужны.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
HolySong
HolySong
сообщение 25.11.2014, 16:00; Ответить: HolySong
Сообщение #3


Новичок
*

Группа: User
Сообщений: 36
Регистрация: 24.11.2014
Из: Украина г. Запорожье
Поблагодарили: 2 раза
Репутация:   1  


Год календаря закрывай еще /2014/ к примеру если имеется
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Xrumer 16.0 – лучшее обновление за несколько лет. Новые инструменты
88 AnnaYa 20839 27.11.2017, 22:07
автор: Botmaster
Горячая тема (нет новых ответов) Несколько площадок под ваши статьи и ссылки
79 slaru 16734 23.11.2017, 17:53
автор: kark
Открытая тема (нет новых ответов) Несколько вопросов о переезде на https
Как влияет на сайт и стоит ли оно того?
16 PostBrigada 3005 23.11.2017, 13:49
автор: SergeiVL
Открытая тема (нет новых ответов) Пара вопросов по iphone
10 kesn 1199 22.11.2017, 16:25
автор: wertu
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 504 17.11.2017, 17:17
автор: coremission


 



RSS Текстовая версия Сейчас: 14.12.2017, 21:23
Дизайн