X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Помогите составить правильный robots.txt, сабж
Suliman
Suliman
Topic Starter сообщение 17.11.2012, 10:52; Ответить: Suliman
Сообщение #1


Бывалый
****


Группа: User
Сообщений: 437
Регистрация: 29.5.2011
Поблагодарили: 15 раз
Репутация:   1  


сайт _http://linexp.ru/
robots.txt ни разу не составлял и не знаю какие разделы нужно в первую очередь закрывать.
Пока вижу, что надо бы закрыть теги и пользователей. А еще что? Помогите советом.


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
guz
guz
сообщение 17.11.2012, 11:16; Ответить: guz
Сообщение #2


Котяра
*****

Группа: Active User
Сообщений: 851
Регистрация: 29.9.2008
Из: Санкт-Петербург
Поблагодарили: 221 раз
Репутация:   55  


для начала надо указать что у вас там форум. Других страниц и нету. Если только еще страницы поиска закрыть. и /List/1 2 3 4


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
extezy
extezy
сообщение 17.11.2012, 11:20; Ответить: extezy
Сообщение #3


I ♥ UKR@INE!
******

Группа: Active User
Сообщений: 1597
Регистрация: 17.8.2007
Из: Украины
Поблагодарили: 334 раза
Репутация:   63  


Если очень вкратце, то закрыть все, кроме главной, статических страниц и страниц с полным содержанием новостей\статей.


--------------------
Дизайнер, музыкант, автогонщик, футболист. Люблю Алену, мамин борщ и пиво с шоколадом.
ZOMRO.COM - держу свои проекты на этом хостинге, рекомендую.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Suliman
Suliman
Topic Starter сообщение 17.11.2012, 12:33; Ответить: Suliman
Сообщение #4


Бывалый
****


Группа: User
Сообщений: 437
Регистрация: 29.5.2011
Поблагодарили: 15 раз
Репутация:   1  


Так?

User-agent:*
Crawl-delay: 2
Disallow: /tags/
Disallow: /ForumTopics/List/
Disallow: /user/

?

Сообщение отредактировал Suliman - 17.11.2012, 12:37


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
guz
guz
сообщение 17.11.2012, 13:49; Ответить: guz
Сообщение #5


Котяра
*****

Группа: Active User
Сообщений: 851
Регистрация: 29.9.2008
Из: Санкт-Петербург
Поблагодарили: 221 раз
Репутация:   55  


User-agent:*
Disallow: /tags/*
Disallow: /ForumTopics/List/*
Disallow: /user/*

User-agent: Yandex
Disallow: /tags/*
Disallow: /ForumTopics/List/*
Disallow: /user/*
Host: linexp.ru

--------------------------
если есть Sitemap

то еще ниже под хост
Sitemap: http....

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал guz - 17.11.2012, 13:52


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Помогите, пожалуйста, моей дочери выжить!
благотворительный топик
30 vitvirtual 3723 Вчера, 8:30
автор: vitvirtual
Открытая тема (нет новых ответов) Продвигаю страницу по запросу "Как сделать игру". Помогите советом, пожалуйста
Я секу в теме! Но подать статью угодным поисковикам образом не смо
22 coremission 2139 8.5.2018, 12:33
автор: coremission
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49744 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Помогите с выбором ноута
20 rokot 867 23.4.2018, 12:09
автор: Room
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыПомогите с идеями для форума про успех
Спасибо за каждую идею
43 Zoya83 5055 12.4.2018, 11:42
автор: Zoya83


 



RSS Текстовая версия Сейчас: 20.5.2018, 14:45
Дизайн