Помощник
 |
|
|
|
|
Сообщение сайта
 Robots.txt и DLE vs индексация |
kulbit
|
Сообщение
#1
|
||
|
Участник  Группа: User Сообщений: 118 Регистрация: 14.6.2009 Поблагодарили: 44 раза Репутация:  6 
 |
|
||
 |
|
||
 |
|
purple
|
 11.8.2010, 13:51;
Ответить: purple
Сообщение
#2
|
 Частый гость Группа: User Сообщений: 74 Регистрация: 6.8.2010 Поблагодарили: 12 раз Репутация: 4
|
через "*" вы будете давать роботу задание "запрет на индексацию по маске".
если на /page/* страницах будут новости, то конечно они не будут индексироваться, если закрыть индексацию для /page/* |
|
|
|
burusha
|
11.8.2010, 14:01;
Ответить: burusha
Сообщение
#3
|
 Забаненный Группа: Banned Сообщений: 457 Регистрация: 23.11.2009 Из: WebTown Поблагодарили: 247 раз Репутация: 55
|
User-agent: *
Disallow: /*page/ Disallow: /page/ Disallow: /2009/ Disallow: /2011/ Disallow: /2010/ Sitemap: http://сайт.ру/sitemap.xml User-agent: Yandex Disallow: /*page/ Disallow: /page/ Disallow: /2009/ Disallow: /2011/ Disallow: /2010/ Host: сайт.ру Sitemap: http://сайт.ру/sitemap.xml p.s. Новости индексироваться будут через морду, сайтмап и через тот же page, т.к. если даже запрещено к индексу он переходит по страницам, но не индексирует. p.p.s. Disallow: /*page/ для запрета страниц категорий. p.p.p.s. Затачиваешь сат под продажу ссылок? 
Сообщение отредактировал burusha - 11.8.2010, 14:03 -------------------- |
|
|
|
|
Staurus
|
11.8.2010, 14:25;
Ответить: Staurus
Сообщение
#4
|
 Big Brother 
 Группа: Active User Сообщений: 2191 Регистрация: 12.6.2009 Из: Симферополь Поблагодарили: 2426 раз Репутация: 268
|
User-agent: *
Disallow: /*print Disallow: /*userinfo Disallow: /2009/ Disallow: /2011/ Disallow: /2010/ Disallow: /index.php?subaction=userinfo Disallow: /autobackup.php Disallow: /admin.php Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /backup/ Disallow: /engine/ Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /index.php?do=rules Disallow: /rules.html Sitemap: http://сайт.ру/sitemap.xml User-agent: Yandex Host: сайт.ру Sitemap: http://сайт.ру/sitemap.xml -------------------- |
|
|
|
|
kulbit
|
Сообщение
#5
|
|
Участник Группа: User Сообщений: 118 Регистрация: 14.6.2009 Поблагодарили: 44 раза Репутация: 6
|
Вот допустим я закрыл от индекса архивы таким способом
Disallow: /2009/ Disallow: /2011/ Disallow: /2010/ Будут ли индексироваться страницы с таким адресом http://сайт.ру/2009/page/1 ? Сообщение отредактировал kulbit - 11.8.2010, 19:54 -------------------- |
|
|
|
|
Staurus
|
11.8.2010, 20:10;
Ответить: Staurus
Сообщение
#6
|
|
Big Brother
Группа: Active User Сообщений: 2191 Регистрация: 12.6.2009 Из: Симферополь Поблагодарили: 2426 раз Репутация: 268
|
ты кадр?
Disallow: /2009/ - означает что закрывает всё, где встречается /2009/. ЕЩЕ РАЗ ПОВОТРЮ ВСЁ закрывает где встречается /2009/ -------------------- |
|
|
|
|
kulbit
|
Сообщение
#7
|
|
Участник Группа: User Сообщений: 118 Регистрация: 14.6.2009 Поблагодарили: 44 раза Репутация: 6
|
(Staurus @ 11.8.2010, 20:10)  ты кадр? Нет, просто немного запутолся в их * и $, вот и уточняю. -------------------- |
|
|
|
|
purple
|
11.8.2010, 20:14;
Ответить: purple
Сообщение
#8
|
|
Частый гость Группа: User Сообщений: 74 Регистрация: 6.8.2010 Поблагодарили: 12 раз Репутация: 4
|
вообще маска "*" в некоторых роботах не поддерживается (читал об этом), но вышеуказанные ваши директивы запретят для индексации все содержимое папок, в том числе субдиректории, файлы и тп.
|
|
|
|
|
install
|
11.8.2010, 20:17;
Ответить: install
Сообщение
#9
|
 Яндекс ЛОХ 
 Группа: Active User Сообщений: 3530 Регистрация: 28.5.2009 Из: Нижневартовска Поблагодарили: 1377 раз Репутация: 201
|
kulbit, так может вообще не стоит делать сайт?
Просто уберите архивы, тэги, календарь, похожие новости и тд сделайте стандартный роботс и не ломайте себе и людям голову -------------------- |
|
|
|
|
kulbit
|
Сообщение
#10
|
|
Участник Группа: User Сообщений: 118 Регистрация: 14.6.2009 Поблагодарили: 44 раза Репутация: 6
|
install шагайте мимо батенька. Ничего плохого не вижу, в том чтобы голову поломать.
-------------------- |
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
 Быстрая индексация страниц сайта и обратных ссылок - 2Index |
38 | 2Index | 6617 | Вчера, 12:56 автор: 2Index |
 |
Индексация внешних ссылок | 16 | Vmir | 5568 | 25.2.2024, 19:22 автор: MihaylovRA |
|
DLE xProtect | 2 | xoopw | 5977 | 15.1.2024, 21:06 автор: Diana_Wesley |
|
Обновить сайт на CMS DLE | 1 | Sawich | 1661 | 2.9.2023, 10:10 автор: WoWeb |
|
Буржунет. Гест Посты на .EDU .GOV. Топ ссылки TLD, WEB 2.0, профили Microsoft и др. 100% индексация Продажа ссылок с индексацией на мощных площадках |
11 | diezelk | 9897 | 13.5.2023, 11:12 автор: diezelk |
|
Текстовая версия | Сейчас: 19.4.2024, 8:08 |
