Помощник
|
И снова robot.txt на DLE |
Zidein
|
Сообщение
#1
|
||
|
|
||
|
|||
Milera |
21.2.2012, 0:23;
Ответить: Milera
Сообщение
#2
|
|
не используйте звездочку, ну нет такого символа, это во первых,
во-вторых, много разных поисковиков тоже писать нет смысла, нет смысла что-то запрещать одному и разрешать другому. Поэтому писать стоит только User-agent: * Allow: / - по сути такой директивы нет, да и лишнее это, тем более в начале я где-то скидывала даже фразу из robotstxt.org о звездочке, если не лень, то поройте где-то было, ну или на сам сайт зайдите, и звездочку в ctrl+F забейте. нельзя писать Disallow: /tags/*, надо писать Disallow: /tags/ не надо писать Disallow: /*do=search, скорее всего там надо писать Disallow: /?do=search (но надо посмотреть на строку выдачи, я с дле не знакома к сожалению) Сообщение отредактировал Milera - 21.2.2012, 0:24 |
|
|
kronos |
21.2.2012, 0:41;
Ответить: kronos
Сообщение
#3
|
|
не используйте звездочку, ну нет такого символа, это во первых, Есть, только нет смысла от него в конце. Она там по дефолту. Лучше возьмите у доверенного сайта на DLE роботс, а потом смотрите что в индекс лишнее лезет и закрывайте. И в ЯВм посмотрите еще страинцы которые не индексируется с причинами. -------------------- |
|
|
Fallup |
21.2.2012, 0:43;
Ответить: Fallup
Сообщение
#4
|
|
не используйте звездочку, ну нет такого символа Ну, звездочка какбы по умолчанию приписывается в конец урла, но ей есть и другие применения -------------------- |
|
|
Milera |
21.2.2012, 0:46;
Ответить: Milera
Сообщение
#5
|
|
Есть, только нет смысла от него в конце. Она там по дефолту. Да символ то есть, только значение для разных поисковиков различное, для яндекса * в привычном всем смысле идет как "все" а вот для гугла это просто символ, и не более. а поскольку нет смысла что-то запрещать одному и разрешать другому то писать звездочку не совсем правильно, потому что гугл ее не понимает. в официальной спецификации написано Specifically, you cannot have lines like "User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif". Хотя если вам важен только яндекс, тогда конечно использовать звездочку можно без всяких угрызений совести. Сообщение отредактировал Milera - 21.2.2012, 0:59 |
|
|
Fallup |
21.2.2012, 9:42;
Ответить: Fallup
Сообщение
#6
|
|
нет смысла что-то запрещать одному и разрешать другому Уважаемая, вы слышали что-нибудь про таких роботов, как YandexDirect, Mediapartners-Google? то писать звездочку не совсем правильно, потому что гугл ее не понимает. Как раз-таки ее и надо писать, если один из поисковиков ее учитывает, а другой якобы игнорирует. (на самом деле оба учитывают - прим. ред.). Пруф на всякий случай оставлю. Глядим там внимательно "Создание файла robots.txt вручную" -------------------- |
|
|
Zidein
|
Сообщение
#7
|
|
Перерыл мануалов 15 по ДЛЕ. Почти во всех пишут такой вариант:
User-agent: *
Disallow: /*print Disallow: /*pages/ Disallow: /user/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Sitemap: http://thespring.ru/sitemap.xml Host: http://thespring.ru/ |
|
|
Evgenii |
24.2.2012, 13:15;
Ответить: Evgenii
Сообщение
#8
|
|
User-agent: * Disallow: /*print Disallow: /autobackup.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?do=addnews Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?subaction=newposts Sitemap: http://сайт/sitemap.xml Host: сайт Почти все сайты на DLE у меня с таким содержимым! Проблем с Я нету! |
|
|
Zidein
|
Сообщение
#9
|
|
Evgenii
Ну, на счет проблем не знаю, но теги у тебя не закрыты. |
|
|
Zritex |
25.2.2012, 11:21;
Ответить: Zritex
Сообщение
#10
|
|
Вижу противоречия..
Юзер агент Яндекс мы указываем дополнительно, чтобы скрыть к примеру такую часть сайта, как "теги", а для гугла и других поисковиков их можно оставить открытыми. |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
DLE xProtect | 2 | xoopw | 5978 | 15.1.2024, 21:06 автор: Diana_Wesley |
|
Обновить сайт на CMS DLE | 1 | Sawich | 1662 | 2.9.2023, 10:10 автор: WoWeb |
|
Изготовление красивых сайтов на DLE под ключ | Доступные цены от 2000 руб. |
1 | Admiral_ukr | 1598 | 20.11.2022, 10:08 автор: Webmaster24 |
|
Ищу спеца по DLE вылечить сайт | 4 | Reactive | 2640 | 22.10.2022, 9:01 автор: Fozik77 |
|
требуется перенос с Dle на wordpres нужен человек для переноса движка |
5 | Юрий82 | 1943 | 30.7.2022, 18:02 автор: Klerik84 |
Текстовая версия | Сейчас: 20.4.2024, 0:28 |