Помощник
 |
|
|
|
|
Сообщение сайта
|
 Robots.txt на Dle |
MishaDark
|
Сообщение
#1
|
||
 Частый гость  
 Группа: User Сообщений: 93 Регистрация: 18.1.2010 Из: Россия Поблагодарили: 13 раз Репутация:  0 
 |
|
||
 |
|
||
|
g-prime
|
  5.4.2010, 20:53;
Ответить: g-prime
Сообщение
#2
|
 Новичок
Группа: Banned Сообщений: 45 Регистрация: 27.1.2010 Из: Россия Поблагодарили: 19 раз Репутация: 1
|
mindflow.ru/2010/01/11/robots-txt-dlya-sajtov-na-dle/
но я на всех своих сайтах, использую следующий файл robots.txt User-agent: *
Disallow: /*print Disallow: /autobackup.php Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /index.php?do=pm Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?do=addnews Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?subaction=newposts Sitemap: http://site.ru/sitemap.xml Host: site.ru Сообщение отредактировал g-prime - 5.4.2010, 20:56 |
|
|
|
|
GeForce
|
5.4.2010, 21:03;
Ответить: GeForce
Сообщение
#3
|
 Завсегдатай Группа: Active User Сообщений: 517 Регистрация: 19.2.2009 Из: Новосибирск Поблагодарили: 166 раз Репутация: 32
|
User-agent: *
Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /cache/ Disallow: /favorites/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /*print Disallow: /templates/ Disallow: /uploads/ Disallow: /backup/ Disallow: /languages/ Disallow: /index.php?subaction=newposts Disallow: /statistics.html Disallow: /*rss.xml Host: www.site.ru Sitemap: http://site.ru/sitemap.xml |
|
|
|
|
MishaDark
|
Сообщение
#4
|
|
Частый гость
Группа: User Сообщений: 93 Регистрация: 18.1.2010 Из: Россия Поблагодарили: 13 раз Репутация: 0
|
Благодарю
|
|
|
|
kzpromo
|
6.4.2010, 5:52;
Ответить: kzpromo
Сообщение
#5
|
 Новичок Группа: User Сообщений: 41 Регистрация: 18.11.2008 Поблагодарили: 4 раза Репутация: 0
|
User-agent: Yandex
Allow: / Crawl-delay: 10 Disallow: /*print Disallow: /autobackup.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /uploads/ Sitemap: http://site.ru/sitemap.xml Host: site.ru User-Agent: Googlebot Allow: / Disallow: /*print Disallow: /autobackup.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /uploads/ Sitemap: http://site.ru/sitemap.xml Host: site.ru User-agent: * Allow: / Crawl-delay: 10 Disallow: /*print Disallow: /autobackup.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /uploads/ Sitemap: http://site.ru/sitemap.xml Host: site.ru Нужно учитывать что яндекс и гугл любит чтоб для них было отдельное описание =) -------------------- |
|
|
|
|
Stop-TussiN
|
6.4.2010, 8:26;
Ответить: Stop-TussiN
Сообщение
#6
|
 Саповод 80 lvl Группа: Active User Сообщений: 1256 Регистрация: 10.3.2009 Из: Набережные Челны Поблагодарили: 946 раз Репутация: 88
|
Allow: / Зачем это писать? по умолчанию всегда доступна индексация, учи мат чатсь User-agent: * Host: site.ru И это тоже бред, дериктива host понимается только яндексом Сообщение отредактировал Stop-TussiN - 6.4.2010, 8:27 |
|
|
|
|
Elektromaster
|
6.4.2010, 8:36;
Ответить: Elektromaster
Сообщение
#7
|
 ESCALADE User Группа: Active User Сообщений: 662 Регистрация: 28.10.2007 Из: Lietuva Поблагодарили: 230 раз Репутация: 45
|
дериктива host понимается только яндексом Один раз - да через раз... Яндекс по моему наблюдению, в последнее время игнорирует файло: robots.txt, а в частности директиву host |
|
|
|
|
Romanuk
|
6.4.2010, 9:48;
Ответить: Romanuk
Сообщение
#8
|
 Группа: Active User Сообщений: 908 Регистрация: 4.4.2010 Из: Запорожье Поблагодарили: 408 раз Репутация: 45
|
Elektromaster, интересные у Вас наблюдения.
Есть страницы закрытые в noindex и конечно же яндекс их не индексирует. Так что робот яндекса 100% смотрит на robots и его наличие почти обязательно. |
|
|
|
|
MishaDark
|
Сообщение
#9
|
|
Частый гость
Группа: User Сообщений: 93 Регистрация: 18.1.2010 Из: Россия Поблагодарили: 13 раз Репутация: 0
|
Всем спасибо за ответы, а теперь не подскажите какой robots на joomla ставить?
|
|
|
|
|
antonblog
|
8.4.2010, 15:00;
Ответить: antonblog
Сообщение
#10
|
 Новичок Группа: User Сообщений: 38 Регистрация: 4.4.2010 Поблагодарили: 12 раз Репутация: 3
|
ещё на дле лучше теги закрыть
Disallow: /tags/ а у джумлы и так не плохой роботс в комплеткте, в нем я только картинки открываю для индексации и host прописываю -------------------- |
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
DLE xProtect | 2 | xoopw | 5978 | 15.1.2024, 21:06 автор: Diana_Wesley |
|
Обновить сайт на CMS DLE | 1 | Sawich | 1662 | 2.9.2023, 10:10 автор: WoWeb |
|
Изготовление красивых сайтов на DLE под ключ | Доступные цены от 2000 руб. |
1 | Admiral_ukr | 1598 | 20.11.2022, 10:08 автор: Webmaster24 |
|
Ищу спеца по DLE вылечить сайт | 4 | Reactive | 2640 | 22.10.2022, 9:01 автор: Fozik77 |
|
требуется перенос с Dle на wordpres нужен человек для переноса движка |
5 | Юрий82 | 1943 | 30.7.2022, 18:02 автор: Klerik84 |
|
Текстовая версия | Сейчас: 19.4.2024, 23:44 |
