X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> И снова robot.txt на DLE
Zidein
Zidein
Topic Starter сообщение 21.2.2012, 0:16; Ответить: Zidein
Сообщение #1


Участник
***

Группа: User
Сообщений: 217
Регистрация: 7.2.2012
Из: Новосибирск
Поблагодарили: 43 раза
Репутация:   9  


Зашел как то в панель вебмастера в гугле. он пишет: "Некоторые важные страницы блокируются в файле robots.txt. "

и соответственно вот мой робот.ТхТ

User-agent: *
Allow: /
Disallow: /*page/
Disallow: /*newposts
Disallow: /*print
Disallow: /*userinfo
Disallow: /*new_post
Disallow: /*watched
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=tags
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*action=mobile*
Disallow: /backup/*
Disallow: /engine/*
Disallow: /favorites/*
Disallow: /templates/*
Disallow: /newposts/*
Disallow: /language/*
Disallow: /catalog/*
Disallow: /tags/*
Disallow: /user/*
Disallow: /2011/*
Disallow: /2012/*
Disallow: /rss.php
Disallow: /rules.html
Disallow: /statistics.html
Sitemap: http://thespring.ru/sitemap.xml
User-agent: Yandex
Allow: /
Disallow: /*page/
Disallow: /*newposts
Disallow: /*print
Disallow: /*userinfo
Disallow: /*new_post
Disallow: /*watched
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=tags
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*action=mobile*
Disallow: /backup/*
Disallow: /engine/*
Disallow: /favorites/*
Disallow: /templates/*
Disallow: /newposts/*
Disallow: /language/*
Disallow: /catalog/*
Disallow: /tags/*
Disallow: /user/*
Disallow: /2011/*
Disallow: /2012/*
Disallow: /rss.php
Disallow: /rules.html
Disallow: /statistics.html
Sitemap: http://thespring.ru/sitemap.xml


что лишнее, что не так?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Milera
Milera
сообщение 21.2.2012, 0:23; Ответить: Milera
Сообщение #2


Участник
***

Группа: User
Сообщений: 153
Регистрация: 5.2.2012
Поблагодарили: 24 раза
Репутация:   2  


не используйте звездочку, ну нет такого символа, это во первых,
во-вторых, много разных поисковиков тоже писать нет смысла, нет смысла что-то запрещать одному и разрешать другому. Поэтому писать стоит только User-agent: *
Allow: / - по сути такой директивы нет, да и лишнее это, тем более в начале
я где-то скидывала даже фразу из robotstxt.org о звездочке, если не лень, то поройте где-то было, ну или на сам сайт зайдите, и звездочку в ctrl+F забейте.
нельзя писать Disallow: /tags/*, надо писать Disallow: /tags/
не надо писать Disallow: /*do=search, скорее всего там надо писать Disallow: /?do=search (но надо посмотреть на строку выдачи, я с дле не знакома к сожалению)

Сообщение отредактировал Milera - 21.2.2012, 0:24
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kronos
kronos
сообщение 21.2.2012, 0:41; Ответить: kronos
Сообщение #3


Белый веб-мастер
*******


Группа: Active User
Сообщений: 4703
Регистрация: 10.2.2009
Из: Харьков
Поблагодарили: 2629 раз
Репутация:   327  


(Milera @ 20.2.2012, 23:23) *
не используйте звездочку, ну нет такого символа, это во первых,

Есть, только нет смысла от него в конце. Она там по дефолту.

Лучше возьмите у доверенного сайта на DLE роботс, а потом смотрите что в индекс лишнее лезет и закрывайте.
И в ЯВм посмотрите еще страинцы которые не индексируется с причинами.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 21.2.2012, 0:43; Ответить: Fallup
Сообщение #4


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


не используйте звездочку, ну нет такого символа

mellow.gif
Ну, звездочка какбы по умолчанию приписывается в конец урла, но ей есть и другие применения


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Milera
Milera
сообщение 21.2.2012, 0:46; Ответить: Milera
Сообщение #5


Участник
***

Группа: User
Сообщений: 153
Регистрация: 5.2.2012
Поблагодарили: 24 раза
Репутация:   2  


Есть, только нет смысла от него в конце. Она там по дефолту.

Да символ то есть, только значение для разных поисковиков различное, для яндекса * в привычном всем смысле идет как "все"
а вот для гугла это просто символ, и не более.

а поскольку
нет смысла что-то запрещать одному и разрешать другому

то писать звездочку не совсем правильно, потому что гугл ее не понимает.

в официальной спецификации написано
Specifically, you cannot have lines like "User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif".


Хотя если вам важен только яндекс, тогда конечно использовать звездочку можно без всяких угрызений совести.

Сообщение отредактировал Milera - 21.2.2012, 0:59
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 21.2.2012, 9:42; Ответить: Fallup
Сообщение #6


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


нет смысла что-то запрещать одному и разрешать другому

Уважаемая, вы слышали что-нибудь про таких роботов, как YandexDirect, Mediapartners-Google?

то писать звездочку не совсем правильно, потому что гугл ее не понимает.

Как раз-таки ее и надо писать, если один из поисковиков ее учитывает, а другой якобы игнорирует. (на самом деле оба учитывают - прим. ред.).

Пруф на всякий случай оставлю. Глядим там внимательно "Создание файла robots.txt вручную"


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zidein
Zidein
Topic Starter сообщение 21.2.2012, 11:42; Ответить: Zidein
Сообщение #7


Участник
***

Группа: User
Сообщений: 217
Регистрация: 7.2.2012
Из: Новосибирск
Поблагодарили: 43 раза
Репутация:   9  


Перерыл мануалов 15 по ДЛЕ. Почти во всех пишут такой вариант:

User-agent: *
Disallow: /*print
Disallow: /*pages/
Disallow: /user/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Sitemap: http://thespring.ru/sitemap.xml
Host: http://thespring.ru/
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Evgenii
Evgenii
сообщение 24.2.2012, 13:15; Ответить: Evgenii
Сообщение #8


Завсегдатай
*****


Группа: Banned
Сообщений: 896
Регистрация: 19.2.2008
Из: Интернет ёпта...
Поблагодарили: 97 раз
Репутация:   15  


User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://сайт/sitemap.xml
Host: сайт


Почти все сайты на DLE у меня с таким содержимым! Проблем с Я нету!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zidein
Zidein
Topic Starter сообщение 25.2.2012, 9:59; Ответить: Zidein
Сообщение #9


Участник
***

Группа: User
Сообщений: 217
Регистрация: 7.2.2012
Из: Новосибирск
Поблагодарили: 43 раза
Репутация:   9  


Evgenii
Ну, на счет проблем не знаю, но теги у тебя не закрыты.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zritex
Zritex
сообщение 25.2.2012, 11:21; Ответить: Zritex
Сообщение #10


Shine bright
******


Группа: Active User
Сообщений: 2007
Регистрация: 24.12.2008
Из: Чебоксары
Поблагодарили: 978 раз
Репутация:   233  


Вижу противоречия..

Юзер агент Яндекс мы указываем дополнительно, чтобы скрыть к примеру такую часть сайта, как "теги", а для гугла и других поисковиков их можно оставить открытыми.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Регистрация Вашего сайта (профиля,DLE сайты,подписи на форумах,постинг Тиц 10> , ПР 1>)
278 kaartes 102835 14.12.2017, 10:55
автор: kukla
Открытая тема (нет новых ответов) Адаптивная вёрстка и натяжка на Wordpress, DLE, Joomla и др. Создание мобильных версий.
Хороший код с оптимизацией по скорости. Сайты и лендинги "под ключ
15 Nell 1166 13.12.2017, 23:36
автор: Nell
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
142 contex1 65179 5.12.2017, 12:13
автор: contex1
Открытая тема (нет новых ответов) Требуется так сказать оптимизация шаблона DLE
5 Deadman_n 420 2.12.2017, 13:24
автор: Deadman_n
Открытая тема (нет новых ответов) Перенос сайта с DLE на WordPress
3 mdobyshev 872 30.11.2017, 7:29
автор: Nell


 



RSS Текстовая версия Сейчас: 17.12.2017, 1:10
Дизайн