X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Robots.txt и DLE vs индексация
kulbit
kulbit
Topic Starter сообщение 11.8.2010, 13:35; Ответить: kulbit
Сообщение #1


Участник
***

Группа: User
Сообщений: 118
Регистрация: 14.6.2009
Поблагодарили: 44 раза
Репутация:   6  


Хочу закрыть от индексации всеь лишний контент и оставить для индекса категории и сами новости.

Интересует как это все правельно сделать.

Сначало хочу закрыть архивы. Для этго правельнее будет указать в robots'е Disallow: /2009/ или Disallow: /2009/* ?
Еще интересует как правельно закрыть страницы типа _http://site.ru/page/1/ и т.д. Достаточно будет куазать только Disallow: /page/ или это не закроет page/1/, page/2/ и т.д.?

И если я закрою /page/ от индексации смогут ли нормально индексироваться новости, т.к. ссылки на новости выводятся именно на /page/ ( а она будет закрыта от индексации), новость имеет следующий адрес _http://site.ru/category/post.html.

Сообщение отредактировал kulbit - 11.8.2010, 13:37


--------------------
Скажи нет терпимости!!! 14
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
purple
purple
сообщение 11.8.2010, 13:51; Ответить: purple
Сообщение #2


Частый гость
**

Группа: User
Сообщений: 74
Регистрация: 6.8.2010
Поблагодарили: 12 раз
Репутация:   4  


через "*" вы будете давать роботу задание "запрет на индексацию по маске".
если на /page/* страницах будут новости, то конечно они не будут индексироваться, если закрыть индексацию для /page/*


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
burusha
burusha
сообщение 11.8.2010, 14:01; Ответить: burusha
Сообщение #3


Забаненный
****

Группа: Banned
Сообщений: 457
Регистрация: 23.11.2009
Из: WebTown
Поблагодарили: 247 раз
Репутация:   55  


User-agent: *
Disallow: /*page/
Disallow: /page/
Disallow: /2009/
Disallow: /2011/
Disallow: /2010/
Sitemap: http://сайт.ру/sitemap.xml

User-agent: Yandex
Disallow: /*page/
Disallow: /page/
Disallow: /2009/
Disallow: /2011/
Disallow: /2010/
Host: сайт.ру
Sitemap: http://сайт.ру/sitemap.xml

p.s. Новости индексироваться будут через морду, сайтмап и через тот же page, т.к. если даже запрещено к индексу он переходит по страницам, но не индексирует.
p.p.s. Disallow: /*page/ для запрета страниц категорий.
p.p.p.s. Затачиваешь сат под продажу ссылок?smile.gif

Сообщение отредактировал burusha - 11.8.2010, 14:03


--------------------
Забанен за негативное отношение к форуму и его администрации.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Staurus
Staurus
сообщение 11.8.2010, 14:25; Ответить: Staurus
Сообщение #4


Big Brother
******


Группа: Active User
Сообщений: 2179
Регистрация: 12.6.2009
Из: Симферополь
Поблагодарили: 2368 раз
Репутация:   260  


User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /2009/
Disallow: /2011/
Disallow: /2010/
Disallow: /index.php?subaction=userinfo
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Sitemap: http://сайт.ру/sitemap.xml

User-agent: Yandex
Host: сайт.ру
Sitemap: http://сайт.ру/sitemap.xml


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kulbit
kulbit
Topic Starter сообщение 11.8.2010, 19:53; Ответить: kulbit
Сообщение #5


Участник
***

Группа: User
Сообщений: 118
Регистрация: 14.6.2009
Поблагодарили: 44 раза
Репутация:   6  


Вот допустим я закрыл от индекса архивы таким способом

Disallow: /2009/
Disallow: /2011/
Disallow: /2010/

Будут ли индексироваться страницы с таким адресом http://сайт.ру/2009/page/1 ?

Сообщение отредактировал kulbit - 11.8.2010, 19:54


--------------------
Скажи нет терпимости!!! 14
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Staurus
Staurus
сообщение 11.8.2010, 20:10; Ответить: Staurus
Сообщение #6


Big Brother
******


Группа: Active User
Сообщений: 2179
Регистрация: 12.6.2009
Из: Симферополь
Поблагодарили: 2368 раз
Репутация:   260  


ты кадр?

Disallow: /2009/ - означает что закрывает всё, где встречается /2009/. ЕЩЕ РАЗ ПОВОТРЮ ВСЁ закрывает где встречается /2009/


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kulbit
kulbit
Topic Starter сообщение 11.8.2010, 20:11; Ответить: kulbit
Сообщение #7


Участник
***

Группа: User
Сообщений: 118
Регистрация: 14.6.2009
Поблагодарили: 44 раза
Репутация:   6  


(Staurus @ 11.8.2010, 20:10) *
ты кадр?


Нет, просто немного запутолся в их * и $, вот и уточняю.


--------------------
Скажи нет терпимости!!! 14
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
purple
purple
сообщение 11.8.2010, 20:14; Ответить: purple
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 74
Регистрация: 6.8.2010
Поблагодарили: 12 раз
Репутация:   4  


вообще маска "*" в некоторых роботах не поддерживается (читал об этом), но вышеуказанные ваши директивы запретят для индексации все содержимое папок, в том числе субдиректории, файлы и тп.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
install
install
сообщение 11.8.2010, 20:17; Ответить: install
Сообщение #9


Яндекс ЛОХ
*******


Группа: Active User
Сообщений: 3530
Регистрация: 28.5.2009
Из: Нижневартовска
Поблагодарили: 1376 раз
Репутация:   201  


kulbit, так может вообще не стоит делать сайт?

Просто уберите архивы, тэги, календарь, похожие новости и тд сделайте стандартный роботс и не ломайте себе и людям голову


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kulbit
kulbit
Topic Starter сообщение 11.8.2010, 20:25; Ответить: kulbit
Сообщение #10


Участник
***

Группа: User
Сообщений: 118
Регистрация: 14.6.2009
Поблагодарили: 44 раза
Репутация:   6  


install шагайте мимо батенька. Ничего плохого не вижу, в том чтобы голову поломать.


--------------------
Скажи нет терпимости!!! 14
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Регистрация Вашего сайта (профиля,DLE сайты,подписи на форумах,постинг Тиц 10> , ПР 1>)
278 kaartes 102846 14.12.2017, 10:55
автор: kukla
Открытая тема (нет новых ответов) Адаптивная вёрстка и натяжка на Wordpress, DLE, Joomla и др. Создание мобильных версий.
Хороший код с оптимизацией по скорости. Сайты и лендинги "под ключ
15 Nell 1167 13.12.2017, 23:36
автор: Nell
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
142 contex1 65181 5.12.2017, 12:13
автор: contex1
Открытая тема (нет новых ответов) Требуется так сказать оптимизация шаблона DLE
5 Deadman_n 420 2.12.2017, 13:24
автор: Deadman_n
Открытая тема (нет новых ответов) Перенос сайта с DLE на WordPress
3 mdobyshev 872 30.11.2017, 7:29
автор: Nell


 



RSS Текстовая версия Сейчас: 17.12.2017, 2:43
Дизайн