X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

4 страниц V   1 2 3 4 >
Открыть тему
Тема закрыта
> Robots.txt на Dle
MishaDark
MishaDark
Topic Starter сообщение 5.4.2010, 20:47; Ответить: MishaDark
Сообщение #1


Частый гость
**


Группа: User
Сообщений: 93
Регистрация: 18.1.2010
Из: Россия
Поблагодарили: 13 раз
Репутация:   0  


У меня возник вопрос smile.gif
Какой должен быть правильный robots.txt на DLE
Заранее спасибо...
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
g-prime
g-prime
сообщение 5.4.2010, 20:53; Ответить: g-prime
Сообщение #2


Новичок
*


Группа: Banned
Сообщений: 45
Регистрация: 27.1.2010
Из: Россия
Поблагодарили: 19 раз
Репутация:   1  


mindflow.ru/2010/01/11/robots-txt-dlya-sajtov-na-dle/

но я на всех своих сайтах, использую следующий файл robots.txt
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

Sitemap: http://site.ru/sitemap.xml
Host: site.ru


Сообщение отредактировал g-prime - 5.4.2010, 20:56


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GeForce
GeForce
сообщение 5.4.2010, 21:03; Ответить: GeForce
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 517
Регистрация: 19.2.2009
Из: Новосибирск
Поблагодарили: 165 раз
Репутация:   32  


User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /*print
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /*rss.xml
Host: www.site.ru
Sitemap: http://site.ru/sitemap.xml


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MishaDark
MishaDark
Topic Starter сообщение 5.4.2010, 21:47; Ответить: MishaDark
Сообщение #4


Частый гость
**


Группа: User
Сообщений: 93
Регистрация: 18.1.2010
Из: Россия
Поблагодарили: 13 раз
Репутация:   0  


Благодарю
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kzpromo
kzpromo
сообщение 6.4.2010, 5:52; Ответить: kzpromo
Сообщение #5


Новичок
*

Группа: User
Сообщений: 41
Регистрация: 18.11.2008
Поблагодарили: 4 раза
Репутация:   0  


User-agent: Yandex
Allow: /
Crawl-delay: 10
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

User-Agent: Googlebot
Allow: /
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

User-agent: *
Allow: /
Crawl-delay: 10
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

Нужно учитывать что яндекс и гугл любит чтоб для них было отдельное описание =)


--------------------
Конвертируем Ваш трафик в деньги
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Stop-TussiN
Stop-TussiN
сообщение 6.4.2010, 8:26; Ответить: Stop-TussiN
Сообщение #6


Саповод 80 lvl
******

Группа: Active User
Сообщений: 1256
Регистрация: 10.3.2009
Из: Набережные Челны
Поблагодарили: 944 раза
Репутация:   88  


Allow: /

Зачем это писать? по умолчанию всегда доступна индексация, учи мат чатсь

User-agent: *
Host: site.ru

И это тоже бред, дериктива host понимается только яндексом

Сообщение отредактировал Stop-TussiN - 6.4.2010, 8:27
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Elektromaster
Elektromaster
сообщение 6.4.2010, 8:36; Ответить: Elektromaster
Сообщение #7


ESCALADE User
*****

Группа: Active User
Сообщений: 661
Регистрация: 28.10.2007
Из: Lietuva
Поблагодарили: 230 раз
Репутация:   45  


дериктива host понимается только яндексом

Один раз - да через раз... Яндекс по моему наблюдению, в последнее время игнорирует файло: robots.txt, а в частности директиву host
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Romanuk
Romanuk
сообщение 6.4.2010, 9:48; Ответить: Romanuk
Сообщение #8



*****

Группа: Active User
Сообщений: 908
Регистрация: 4.4.2010
Из: Запорожье
Поблагодарили: 408 раз
Репутация:   45  


Elektromaster, интересные у Вас наблюдения.
Есть страницы закрытые в noindex и конечно же яндекс их не индексирует. Так что робот яндекса 100% смотрит на robots и его наличие почти обязательно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MishaDark
MishaDark
Topic Starter сообщение 6.4.2010, 10:32; Ответить: MishaDark
Сообщение #9


Частый гость
**


Группа: User
Сообщений: 93
Регистрация: 18.1.2010
Из: Россия
Поблагодарили: 13 раз
Репутация:   0  


Всем спасибо за ответы, а теперь не подскажите какой robots на joomla ставить?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
antonblog
antonblog
сообщение 8.4.2010, 15:00; Ответить: antonblog
Сообщение #10


Новичок
*

Группа: User
Сообщений: 38
Регистрация: 4.4.2010
Поблагодарили: 12 раз
Репутация:   3  


ещё на дле лучше теги закрыть
Disallow: /tags/

а у джумлы и так не плохой роботс в комплеткте, в нем я только картинки открываю для индексации и host прописываю


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
4 страниц V   1 2 3 4 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Регистрация Вашего сайта (профиля,DLE сайты,подписи на форумах,постинг Тиц 10> , ПР 1>)
278 kaartes 102868 14.12.2017, 10:55
автор: kukla
Открытая тема (нет новых ответов) Адаптивная вёрстка и натяжка на Wordpress, DLE, Joomla и др. Создание мобильных версий.
Хороший код с оптимизацией по скорости. Сайты и лендинги "под ключ
15 Nell 1168 13.12.2017, 23:36
автор: Nell
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
142 contex1 65192 5.12.2017, 12:13
автор: contex1
Открытая тема (нет новых ответов) Требуется так сказать оптимизация шаблона DLE
5 Deadman_n 420 2.12.2017, 13:24
автор: Deadman_n
Открытая тема (нет новых ответов) Перенос сайта с DLE на WordPress
3 mdobyshev 873 30.11.2017, 7:29
автор: Nell


 



RSS Текстовая версия Сейчас: 17.12.2017, 8:53
Дизайн