Помощник
 |
|
|
|
|
Сообщение сайта
|
 И снова robot.txt на DLE |
Zidein
|
Сообщение
#1
|
||
 Участник  Группа: User Сообщений: 220 Регистрация: 7.2.2012 Из: Новосибирск Поблагодарили: 45 раз Репутация:  11 
 |
|
||
 |
|
||
Milera
|
 21.2.2012, 0:23;
Ответить: Milera
Сообщение
#2
|
|
Участник Группа: User Сообщений: 153 Регистрация: 5.2.2012 Поблагодарили: 24 раза Репутация: 2
|
не используйте звездочку, ну нет такого символа, это во первых,
во-вторых, много разных поисковиков тоже писать нет смысла, нет смысла что-то запрещать одному и разрешать другому. Поэтому писать стоит только User-agent: * Allow: / - по сути такой директивы нет, да и лишнее это, тем более в начале я где-то скидывала даже фразу из robotstxt.org о звездочке, если не лень, то поройте где-то было, ну или на сам сайт зайдите, и звездочку в ctrl+F забейте. нельзя писать Disallow: /tags/*, надо писать Disallow: /tags/ не надо писать Disallow: /*do=search, скорее всего там надо писать Disallow: /?do=search (но надо посмотреть на строку выдачи, я с дле не знакома к сожалению) Сообщение отредактировал Milera - 21.2.2012, 0:24 |
|
|
|
|
kronos
|
21.2.2012, 0:41;
Ответить: kronos
Сообщение
#3
|
 Белый веб-мастер 
 Группа: Active User Сообщений: 4703 Регистрация: 10.2.2009 Из: Харьков Поблагодарили: 2633 раза Репутация: 328
|
(Milera @ 20.2.2012, 23:23)  не используйте звездочку, ну нет такого символа, это во первых, Есть, только нет смысла от него в конце. Она там по дефолту. Лучше возьмите у доверенного сайта на DLE роботс, а потом смотрите что в индекс лишнее лезет и закрывайте. И в ЯВм посмотрите еще страинцы которые не индексируется с причинами. -------------------- |
|
|
|
|
Fallup
|
21.2.2012, 0:43;
Ответить: Fallup
Сообщение
#4
|
 Добрый пёс 
 Группа: Active User Сообщений: 2372 Регистрация: 15.12.2009 Из: мамы Поблагодарили: 1066 раз Репутация: 119
|
не используйте звездочку, ну нет такого символа  Ну, звездочка какбы по умолчанию приписывается в конец урла, но ей есть и другие применения -------------------- |
|
|
|
|
Milera
|
21.2.2012, 0:46;
Ответить: Milera
Сообщение
#5
|
|
Участник Группа: User Сообщений: 153 Регистрация: 5.2.2012 Поблагодарили: 24 раза Репутация: 2
|
Есть, только нет смысла от него в конце. Она там по дефолту. Да символ то есть, только значение для разных поисковиков различное, для яндекса * в привычном всем смысле идет как "все" а вот для гугла это просто символ, и не более. а поскольку нет смысла что-то запрещать одному и разрешать другому то писать звездочку не совсем правильно, потому что гугл ее не понимает. в официальной спецификации написано Specifically, you cannot have lines like "User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif". Хотя если вам важен только яндекс, тогда конечно использовать звездочку можно без всяких угрызений совести. Сообщение отредактировал Milera - 21.2.2012, 0:59 |
|
|
|
|
Fallup
|
21.2.2012, 9:42;
Ответить: Fallup
Сообщение
#6
|
|
Добрый пёс
Группа: Active User Сообщений: 2372 Регистрация: 15.12.2009 Из: мамы Поблагодарили: 1066 раз Репутация: 119
|
нет смысла что-то запрещать одному и разрешать другому Уважаемая, вы слышали что-нибудь про таких роботов, как YandexDirect, Mediapartners-Google? то писать звездочку не совсем правильно, потому что гугл ее не понимает. Как раз-таки ее и надо писать, если один из поисковиков ее учитывает, а другой якобы игнорирует. (на самом деле оба учитывают - прим. ред.). Пруф на всякий случай оставлю. Глядим там внимательно "Создание файла robots.txt вручную" -------------------- |
|
|
|
|
Zidein
|
Сообщение
#7
|
|
Участник Группа: User Сообщений: 220 Регистрация: 7.2.2012 Из: Новосибирск Поблагодарили: 45 раз Репутация: 11
|
Перерыл мануалов 15 по ДЛЕ. Почти во всех пишут такой вариант:
User-agent: *
Disallow: /*print Disallow: /*pages/ Disallow: /user/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Sitemap: http://thespring.ru/sitemap.xml Host: http://thespring.ru/ |
|
|
|
|
Evgenii
|
24.2.2012, 13:15;
Ответить: Evgenii
Сообщение
#8
|
 Старожил 
 Группа: Banned Сообщений: 1166 Регистрация: 19.2.2008 Из: Интернет ёпта... Поблагодарили: 97 раз Репутация: 18
|
User-agent: * Disallow: /*print Disallow: /autobackup.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?do=addnews Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?subaction=newposts Sitemap: http://сайт/sitemap.xml Host: сайт Почти все сайты на DLE у меня с таким содержимым! Проблем с Я нету! |
|
|
|
|
Zidein
|
Сообщение
#9
|
|
Участник Группа: User Сообщений: 220 Регистрация: 7.2.2012 Из: Новосибирск Поблагодарили: 45 раз Репутация: 11
|
Evgenii
Ну, на счет проблем не знаю, но теги у тебя не закрыты. |
|
|
|
|
Zritex
|
25.2.2012, 11:21;
Ответить: Zritex
Сообщение
#10
|
 Shine bright 
 Группа: Active User Сообщений: 2009 Регистрация: 24.12.2008 Из: Чебоксары Поблагодарили: 979 раз Репутация: 233
|
Вижу противоречия..
Юзер агент Яндекс мы указываем дополнительно, чтобы скрыть к примеру такую часть сайта, как "теги", а для гугла и других поисковиков их можно оставить открытыми. |
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
DLE xProtect | 2 | xoopw | 5974 | 15.1.2024, 21:06 автор: Diana_Wesley |
|
Обновить сайт на CMS DLE | 1 | Sawich | 1658 | 2.9.2023, 10:10 автор: WoWeb |
|
Изготовление красивых сайтов на DLE под ключ | Доступные цены от 2000 руб. |
1 | Admiral_ukr | 1598 | 20.11.2022, 10:08 автор: Webmaster24 |
|
Ищу спеца по DLE вылечить сайт | 4 | Reactive | 2637 | 22.10.2022, 9:01 автор: Fozik77 |
|
требуется перенос с Dle на wordpres нужен человек для переноса движка |
5 | Юрий82 | 1942 | 30.7.2022, 18:02 автор: Klerik84 |
|
Текстовая версия | Сейчас: 17.4.2024, 2:26 |
