X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Как закрыть такие страницы от индексации, закрыть такие страницы от индексации в ПС
romerfak
romerfak
Topic Starter сообщение 14.2.2012, 22:07; Ответить: romerfak
Сообщение #1


Участник
***


Группа: User
Сообщений: 110
Регистрация: 20.5.2011
Из: Украина
Поблагодарили: 3 раза
Репутация:   2  


сайт.ру/41-ukraina?format=feed&type=atom
сайт.ру/41-ukraina?format=feed&type=rss
сайт.ру/jomsocial/42-super-user/photos?format=feed\

Это в файле robots.txt прописать Disallow *?* нужно?

Вот как он сейчас выглядет, страницы эти индексируются:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /component/mailto/
Disallow: /jomsocial/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /component/mailto/
Disallow: /jomsocial/


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kronos
kronos
сообщение 14.2.2012, 22:19; Ответить: kronos
Сообщение #2


Белый веб-мастер
*******


Группа: Active User
Сообщений: 4703
Регистрация: 10.2.2009
Из: Харьков
Поблагодарили: 2629 раз
Репутация:   327  


Disallow: /*?format=feed


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
romerfak
romerfak
Topic Starter сообщение 14.2.2012, 22:22; Ответить: romerfak
Сообщение #3


Участник
***


Группа: User
Сообщений: 110
Регистрация: 20.5.2011
Из: Украина
Поблагодарили: 3 раза
Репутация:   2  


Просто Disallow: /*?format=feed, или эти тоже Disallow: /*?format=atom, Disallow: /*?format=rss ?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lamensel
lamensel
сообщение 14.2.2012, 22:30; Ответить: lamensel
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1571
Регистрация: 19.11.2010
Из: той страны, где вас нет
Поблагодарили: 458 раз
Репутация:   68  


Я бы вообще закрыл
Disallow: /*?
Если ничего там важного нет обычно за знаком вопросика.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
romerfak
romerfak
Topic Starter сообщение 14.2.2012, 22:58; Ответить: romerfak
Сообщение #5


Участник
***


Группа: User
Сообщений: 110
Регистрация: 20.5.2011
Из: Украина
Поблагодарили: 3 раза
Репутация:   2  


Это joomla -вот сайт http://alltour.in.ua/ - не вкурсе, можно ли так закрыть, есть ли что-то важное за знаком вопроса?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
reekroo
reekroo
сообщение 14.2.2012, 23:13; Ответить: reekroo
Сообщение #6


Новичок
*

Группа: User
Сообщений: 20
Регистрация: 13.2.2012
Поблагодарили: 2 раза
Репутация:   1  


Ничего важного там не будет, в основном все ваши страницы имеют постоянные ссылки типа /component/ или /tourismandtravelling/ и т.д. так что можете смело закрывать
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
romerfak
romerfak
Topic Starter сообщение 15.2.2012, 0:55; Ответить: romerfak
Сообщение #7


Участник
***


Группа: User
Сообщений: 110
Регистрация: 20.5.2011
Из: Украина
Поблагодарили: 3 раза
Репутация:   2  


Всем спасибо за ответы!!!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
azarchick
azarchick
сообщение 28.2.2012, 15:02; Ответить: azarchick
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 53
Регистрация: 27.2.2012
Из: Беларусь
Поблагодарили: 16 раз
Репутация:   3  


(romerfak @ 14.2.2012, 21:07) *
сайт.ру/41-ukraina?format=feed&type=atom
сайт.ру/41-ukraina?format=feed&type=rss
сайт.ру/jomsocial/42-super-user/photos?format=feed\

Это в файле robots.txt прописать Disallow *?* нужно?

Вот как он сейчас выглядет, страницы эти индексируются:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /component/mailto/
Disallow: /jomsocial/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /component/mailto/
Disallow: /jomsocial/


А у меня к вам вопрос по другому делу. Зачем прописывать те же самые дерективы и для всех поисковых роботов, и отдельно для Yandex? Я бы на вашем месте оставила первую часть, дописав в конце

host:главное зеркало (это для Яндекса)
sitemap:ваша sitemap.xml


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ramazanaman
ramazanaman
сообщение 30.3.2012, 17:02; Ответить: ramazanaman
Сообщение #9


Завсегдатай
*****

Группа: Banned
Сообщений: 553
Регистрация: 14.10.2011
Поблагодарили: 83 раза
Репутация:   14  


Я бы советовал сделать только сайтмап, правда это проблематично на данный момент. Ни одного нормального сервиса для создания полностью рабочего саймапа нет пока что.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Маленький кейс как сделать много почтовых ящиков в Gmail
Один аккаунт = много ящиков
11 PostBrigada 733 Сегодня, 2:50
автор: kstnews
Открытая тема (нет новых ответов) Как мошенники зарабатывают на прямых трансляциях в Instagram
Не ждите порно в инстаграм, его нет
12 PostBrigada 1354 16.12.2017, 23:00
автор: PostBrigada
Открытая тема (нет новых ответов) Как сейчас зарегистрировать Яндекс кошелек за пределами России?
4 metvekot 406 16.12.2017, 19:04
автор: metvekot
Открытая тема (нет новых ответов) Как поднять доверие к сайту?
5 fair_exchange 407 16.12.2017, 18:33
автор: genjnat
Открытая тема (нет новых ответов) Редирект только главной страницы
301 редирект
2 Gera 534 15.12.2017, 13:50
автор: Gera


 



RSS Текстовая версия Сейчас: 18.12.2017, 7:50
Дизайн