Помощник
 |
|
|
|
|
Сообщение сайта
|
 Совет по изменению robot.txt DLE 9.6, нужен дельный совет по редактированию robot.txt |
jorjo22
|
Сообщение
#1
|
||
 Бывалый  Группа: User Сообщений: 323 Регистрация: 30.4.2012 Из: Киев Поблагодарили: 16 раз Репутация:  3 
 |
|
||
 |
|
||
|
Aleksandrometr
|
 13.2.2013, 12:27;
Ответить: Aleksandrometr
Сообщение
#2
|
 I ♥ BassBoosted Группа: Active User Сообщений: 544 Регистрация: 23.8.2012 Поблагодарили: 203 раза Репутация: 77
|
Стесняюсь спросить, для чего закрывать каждую страницу?
Можно же сделать так: Disallow: /page/*/
Disallow: */page/*/ Disallow: /novosti/page/*/ Disallow: */novosti/page/*/ -------------------- |
|
|
|
|
Raptor-Ice
|
13.2.2013, 12:59;
Ответить: Raptor-Ice
Сообщение
#3
|
 Завсегдатай Группа: Active User Сообщений: 666 Регистрация: 15.11.2010 Из: Украина Поблагодарили: 130 раз Репутация: 40
|
Недавно тоже столкнулся с этим вопросом. Вот что у меня получилось, толком не сравнивал, но на первый глаз вижу отличия с моим, может что новое для себя увидите. Ловите:
Развернуть/Свернуть
User-Agent: * Disallow: /*print Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /newposts/ Disallow: /*userinfo Disallow: /*page/ Disallow: /page/ Disallow: /*page/* Disallow: /201*/ Disallow: /engine/download.php Disallow: /*download.php?id= Disallow: /engine/go.php Disallow: /index.php?subaction=userinfo Disallow: /index.php?do=rules Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /showlinks.php Disallow: /*rrs Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Sitemap: http://сайт.ру/sitemap.xml Host: сайт.ру Уже месяца 3 такой , все ок с индексом. Правда у меня сайты более информационные чем новостные. -------------------- |
|
|
|
|
M25
|
13.2.2013, 13:04;
Ответить: M25
Сообщение
#4
|
 Поражены твоей неудачей. Группа: Active User Сообщений: 962 Регистрация: 23.11.2009 Из: Украина Поблагодарили: 269 раз Репутация: 44
|
Самый главный
(jorjo22 @ 13.2.2013, 9:57)  дельный совет по редактированию robot.txt - это переименовать его в robots.txt -------------------- |
|
|
|
|
jorjo22
|
Сообщение
#5
|
|
Бывалый Группа: User Сообщений: 323 Регистрация: 30.4.2012 Из: Киев Поблагодарили: 16 раз Репутация: 3
|
Еще вопросик один есть - посмотрел в гугл вебмастере и обнаружил парочку дублей
Как корректно дубли - дайте один пример Оч нуно. Заранее благодарю вот пример: Aleksandrometr, По Вашим рекомендациям сделал изменения и получилось такое: User-agent: * Disallow: /admin.php Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /index.php?newposts/ Disallow: /index.php?statistics.html Disallow: /index.php?subaction=userinfo Disallow: /index.php?subaction=newposts Disallow: /index.php?index.php?do=lastcomments Disallow: /index.php?do=feedback Disallow: /index.php?do=register Disallow: /index.php?do=lostpassword Disallow: /index.php?do=addnews Disallow: /index.php?do=stats Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=search Disallow: /#fragment-2 Disallow: /#fragment-3 Disallow: /#fragment-4 Disallow: /#fragment-5 Disallow: /*rss Disallow: /page/*/ Disallow: */page/*/ Disallow: /novosti/page/*/ Disallow: */novosti/page/*/ Host: www.androidsofts.net Sitemap: http://androidsofts.net/sitemap.xml Еше один вопросик есть - как заставить ротоботов переиндксировать сайт с поправокой на запреты которые стоят в файлике robots.txt jorjo22, решил проверить средствами яндекса индексируется ли урл с картой сайта и мне написало http://www.androidsofts.net/sitemap.xml запрещен правилом / В чем мой прокол? Сообщение отредактировал jorjo22 - 13.2.2013, 19:42
Прикрепленные изображения
-------------------- |
|
|
|
|
jorjo22
|
Сообщение
#6
|
|
Бывалый Группа: User Сообщений: 323 Регистрация: 30.4.2012 Из: Киев Поблагодарили: 16 раз Репутация: 3
|
Выношу огромное спасибо Aleksandrometr за помощь в настройке robots.txt для моего сайта. Все сделал очень быстро и качественно.
Всем советую. -------------------- |
|
|
|
|
dlepro_com
|
17.2.2013, 23:31;
Ответить: dlepro_com
Сообщение
#7
|
|
 Новичок 
 Группа: User Сообщений: 36 Регистрация: 26.3.2011 Из: Рязань Поблагодарили: 8 раз Репутация: 2
|
УЖАС какой роботс..
User-agent: * Disallow: /admin.php Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /index.php?newposts/ Disallow: /index.php?statistics.html Disallow: /index.php?subaction=userinfo Disallow: /index.php?subaction=newposts Disallow: /index.php?index.php?do=lastcomments Disallow: /index.php?do=feedback Disallow: /index.php?do=register Disallow: /index.php?do=lostpassword Disallow: /index.php?do=addnews Disallow: /index.php?do=stats Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=search Disallow: /#fragment-2 Disallow: /#fragment-3 Disallow: /#fragment-4 Disallow: /#fragment-5 Disallow: /*rss Disallow: /page/*/ Disallow: */page/*/ Disallow: /novosti/page/*/ Disallow: */novosti/page/*/ Host: www.androidsofts.net Sitemap: http://androidsofts.net/sitemap.xml Начнём: Disallow: /admin.php зачем показывать админку? лечим: убираем эту опасную строку с robots и - открыть файл /engine/skins/default.skin.php Найти: <head> Добавить ниже: <meta name="robots" content="noindex,nofollow" /> далее ужас: Disallow: /page/*/ Disallow: */page/*/ Disallow: /novosti/page/*/ Disallow: */novosti/page/*/ лечим: Disallow: /*page/ и очень много ужаса: Disallow: /index.php?newposts/ Disallow: /index.php?statistics.html Disallow: /index.php?subaction=userinfo Disallow: /index.php?subaction=newposts Disallow: /index.php?index.php?do=lastcomments Disallow: /index.php?do=feedback Disallow: /index.php?do=register Disallow: /index.php?do=lostpassword Disallow: /index.php?do=addnews Disallow: /index.php?do=stats Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=search лечим: Disallow: /*?* строки с Disallow: /#..... вообще ниочём, а вот добавить нужно: Disallow: /2012/ Disallow: /2013/ Disallow: /favorites/ Disallow: /lastnews/ Disallow: /newposts/ Disallow: /catalog/ Disallow: /engine/ajax/ Disallow: /addnews.html Disallow: /statistics.html Disallow: /rules.html Disallow: /dle-rules-page.html Disallow: /*print первые две строки, зависят от лет публикаций на вашем сайте лучше добавить все года. и по вашему усмотрению: Disallow: /tags/ Итого правильный по моему мнению: User-agent: * Disallow: /*print Disallow: /2008/ Disallow: /2009/ Disallow: /2010/ Disallow: /2011/ Disallow: /2012/ Disallow: /2013/ Disallow: /tags/ Disallow: /user/ Disallow: /favorites/ Disallow: /lastnews/ Disallow: /newposts/ Disallow: /catalog/ Disallow: /*page/ Disallow: /addnews.html Disallow: /statistics.html Disallow: /rules.html Disallow: /dle-rules-page.html Disallow: /engine/ajax/ Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /*?* Sitemap: http://сайт.ru/sitemap.xml Host: сайт.ru
Сообщение отредактировал dlepro_com - 17.2.2013, 23:33 |
|
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
DLE xProtect | 2 | xoopw | 5985 | 15.1.2024, 21:06 автор: Diana_Wesley |
|
Обновить сайт на CMS DLE | 1 | Sawich | 1667 | 2.9.2023, 10:10 автор: WoWeb |
|
Изготовление красивых сайтов на DLE под ключ | Доступные цены от 2000 руб. |
1 | Admiral_ukr | 1600 | 20.11.2022, 10:08 автор: Webmaster24 |
|
Ищу спеца по DLE вылечить сайт | 4 | Reactive | 2642 | 22.10.2022, 9:01 автор: Fozik77 |
|
требуется перенос с Dle на wordpres нужен человек для переноса движка |
5 | Юрий82 | 1947 | 30.7.2022, 18:02 автор: Klerik84 |
|
Текстовая версия | Сейчас: 24.4.2024, 2:18 |
