Помощник
|
Robots.txt для Dle. Делаем правильно. Да будет сайт проиндексирован., Посвящается всем, кто использует DLE |
Евгешко |
21.2.2010, 22:08;
Ответить: Евгешко
Сообщение
#42
|
|
Вот правильный ИМХО
User-agent: * Disallow: /*print Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /statistics.html Sitemap: http://Сайт.Ru/sitemap.xml User-agent: Yandex Disallow: /*print Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /statistics.html Host: сайт Sitemap: http://Сайт.Ru/sitemap.xml А lastcommetns, register можно оставить Для пару рубликов в сапе Сообщение отредактировал Евгешко - 21.2.2010, 22:09 -------------------- |
|
|
VRUB |
3.3.2010, 12:51;
Ответить: VRUB
Сообщение
#43
|
|
Евгешко
не согласен с точки зрения безопасности зачем палить админку- Disallow: /admin.php |
|
|
ndiezel |
3.3.2010, 13:48;
Ответить: ndiezel
Сообщение
#44
|
|
И я вот не понимаю зачем запрещать к индексации папку uploads?
Там же картинки, и другие файлы, используемые в контенте. Это как минимум - удалит ваши картинки из поиска ЯндексКартинок и ГугльКартинок. Да, еще вопрос. Вот поясните мне, глупому, зачем вообще писать это: Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php ??? Если в структуре хтмл-шаблона нет ссылок на эти папки - робот их никак и не проиндексирует. Поскольку он просто не знает что они есть на хосте. Или я как-то не правильно представляю работу поисковых роботов? Пы.Сы. Товарищи вебмастера, вы сами, ручками, будете переносить файл sitemap.xml из папки uploads (в которой он по дефолту лежит) в корень сайта? Или может поправите запись в коде: Sitemap: http://Ваш_сайт/uploads/sitemap.xml Сообщение отредактировал ndiezel - 3.3.2010, 14:12 -------------------- |
|
|
lexan |
3.3.2010, 16:06;
Ответить: lexan
Сообщение
#45
|
|
Пы.Сы. Товарищи вебмастера, вы сами, ручками, будете переносить файл sitemap.xml из папки uploads (в которой он по дефолту лежит) в корень сайта? Или может поправите запись в коде: Sitemap: http://Ваш_сайт/uploads/sitemap.xml в .htaccess есть такая строчка RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L] |
|
|
Anton024 |
29.6.2010, 18:04;
Ответить: Anton024
Сообщение
#46
|
|
У меня вопрос, как закрыть от индексации такие страницы: категория/page/2 , но чтобы не закрыть саму категорию? В роботсе если я пропишу Disallow: /категория/page/ то закроются только страницы или вся категория сразу?
-------------------- |
|
|
_Dave_ |
3.8.2010, 20:11;
Ответить: _Dave_
Сообщение
#47
|
|
А как запретить все страницы с /index.php?do
-------------------- |
|
|
burusha |
3.8.2010, 20:33;
Ответить: burusha
Сообщение
#48
|
|
ndiezel, Про сайтмап бред полный написали. Смотрите стандартные редиректы двига.
_Dave_, Disallow: /index.php?do=* Моя карта: User-agent: * Disallow: /*print Disallow: /*userinfo Disallow: /2009/ Disallow: /2010/ Disallow: /index.php?subaction=userinfo Disallow: /autobackup.php Disallow: /admin.php Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /backup/ Disallow: /engine/ Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /index.php?do=rules Disallow: /rules.html Sitemap: http://сайт.ру/sitemap.xml User-agent: Yandex Disallow: /*print Disallow: /*userinfo Disallow: /2009/ Disallow: /2010/ Disallow: /2011/ Disallow: /index.php?subaction=userinfo Disallow: /autobackup.php Disallow: /admin.php Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /backup/ Disallow: /engine/ Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /index.php?do=rules Disallow: /rules.html Host: сайт.ру Sitemap: http://сайт.ру/sitemap.xml p.s. Зачем палить админку? Ггг, если кому-то она будет нужна, то её адрес можно будет найти легко по средствам шаблона. А lastcommetns, register можно оставить Для пару рубликов в сапе Принесут они вам 5-6р в месяц и две не уникальные страницы) А для DLE форума есть какие-то запреты? Да, конечно. Желательно запретить текстовую версию и копирайты(если у вас 2.5) Disallow: /index.php?do=forum&act=copyright
Disallow: /forum/textversion.html* Сообщение отредактировал burusha - 3.8.2010, 20:33 -------------------- |
|
|
zakaznik |
3.8.2010, 20:41;
Ответить: zakaznik
Сообщение
#49
|
|
Disallow: /*print так ставить нельзя, все страницы, которые в которых будет print индекситься не будут лучше это не ставить, в DLE в последних версиях уже есть функция запрета индексайии принтовых станиц, так же можно просто тупо из шаблона убрать ссылку на принт страницы ( по моему они вообще не нужны, только в редких случаях) Сообщение отредактировал zakaznik - 3.8.2010, 20:43 |
|
|
Pacifik |
31.10.2011, 20:24;
Ответить: Pacifik
Сообщение
#50
|
|
Мой вариант
Disallow: /newposts/
Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Disallow: /*action=mobile* Disallow: /*print Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /*newposts* Disallow: /statistics.html -------------------- |
|
|
neo-skynet |
31.10.2011, 20:27;
Ответить: neo-skynet
Сообщение
#51
|
|
А вам не кажется что эта тема перетёрта уже 10001-раз и уже давно... Даже на запрос в Гошу выдается кучу материала, который ведет на этот форум или даже на другие... Так может перестанем затрагивать эту тему...а ?
-------------------- |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐ Сервис для получения SMS на реальные номера USA |
13 | Chekon | 4078 | 18.4.2024, 11:48 автор: Chekon |
|
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 1 | Rebex | 689 | 17.4.2024, 11:50 автор: Rebex |
|
Ваш сайт блокирует Роскомнадзор? | 27 | hollywooduk | 5719 | 17.4.2024, 0:19 автор: Omaxis |
|
Прототипирование + дизайн + вёрстка = красивый и эффективный сайт под ключ | 0 | bunneh | 349 | 16.4.2024, 18:02 автор: bunneh |
|
Какой % отказов нормален для сайта? | 11 | Aloof | 2821 | 16.4.2024, 12:48 автор: diviner99 |
Текстовая версия | Сейчас: 20.4.2024, 4:28 |