X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Помогите составить правильный robots.txt, сабж
Suliman
Suliman
Topic Starter сообщение 17.11.2012, 10:52; Ответить: Suliman
Сообщение #1


Бывалый
****


Группа: User
Сообщений: 437
Регистрация: 29.5.2011
Поблагодарили: 15 раз
Репутация:   1  


сайт _http://linexp.ru/
robots.txt ни разу не составлял и не знаю какие разделы нужно в первую очередь закрывать.
Пока вижу, что надо бы закрыть теги и пользователей. А еще что? Помогите советом.


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
guz
guz
сообщение 17.11.2012, 11:16; Ответить: guz
Сообщение #2


Котяра
*****

Группа: Active User
Сообщений: 850
Регистрация: 29.9.2008
Из: Санкт-Петербург
Поблагодарили: 221 раз
Репутация:   55  


для начала надо указать что у вас там форум. Других страниц и нету. Если только еще страницы поиска закрыть. и /List/1 2 3 4


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
extezy
extezy
сообщение 17.11.2012, 11:20; Ответить: extezy
Сообщение #3


I ♥ UKR@INE!
******

Группа: Active User
Сообщений: 1597
Регистрация: 17.8.2007
Из: Украины
Поблагодарили: 334 раза
Репутация:   63  


Если очень вкратце, то закрыть все, кроме главной, статических страниц и страниц с полным содержанием новостей\статей.


--------------------
Дизайнер, музыкант, автогонщик, футболист. Люблю Алену, мамин борщ и пиво с шоколадом.
ZOMRO.COM - держу свои проекты на этом хостинге, рекомендую.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Suliman
Suliman
Topic Starter сообщение 17.11.2012, 12:33; Ответить: Suliman
Сообщение #4


Бывалый
****


Группа: User
Сообщений: 437
Регистрация: 29.5.2011
Поблагодарили: 15 раз
Репутация:   1  


Так?

User-agent:*
Crawl-delay: 2
Disallow: /tags/
Disallow: /ForumTopics/List/
Disallow: /user/

?

Сообщение отредактировал Suliman - 17.11.2012, 12:37


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
guz
guz
сообщение 17.11.2012, 13:49; Ответить: guz
Сообщение #5


Котяра
*****

Группа: Active User
Сообщений: 850
Регистрация: 29.9.2008
Из: Санкт-Петербург
Поблагодарили: 221 раз
Репутация:   55  


User-agent:*
Disallow: /tags/*
Disallow: /ForumTopics/List/*
Disallow: /user/*

User-agent: Yandex
Disallow: /tags/*
Disallow: /ForumTopics/List/*
Disallow: /user/*
Host: linexp.ru

--------------------------
если есть Sitemap

то еще ниже под хост
Sitemap: http....

Сообщение отредактировал guz - 17.11.2012, 13:52


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Помогите выбрать программу
Помогите выбрать программу
11 impak 1334 11.12.2017, 13:11
автор: Mikki
Открытая тема (нет новых ответов) Помогите найти плагин на WP
Отзывы с профилей соц сетей
1 SEOMR 438 30.11.2017, 7:18
автор: Nell
Открытая тема (нет новых ответов) Помогите найти проблему
Долгий ответ сервера
6 maxim1249 688 29.11.2017, 17:27
автор: genjnat
Открытая тема (нет новых ответов) Помогите оценить новотник. Плиз
1 Alex-777 521 29.11.2017, 7:18
автор: grumdas
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47464 28.11.2017, 1:05
автор: Akira


 



RSS Текстовая версия Сейчас: 14.12.2017, 12:39
Дизайн