X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Несколько вопросов на счёт robots.txt
ErgoProxy
ErgoProxy
Topic Starter сообщение 24.8.2011, 17:26; Ответить: ErgoProxy
Сообщение #1


Участник
***

Группа: User
Сообщений: 118
Регистрация: 2.7.2011
Из: Украина г. Черкассы
Поблагодарили: 10 раз
Репутация:   8  


1) Директиву Host: понимает только yandex? Или google тоже? Если google понимает, то нужно ли её добавить в раздел User-agent: *?
2) Так как всё что после User-agent: * yandex почему то отказывается кушать, судя по данным с yandex вебмастер, директивы Disallow: пришлось продублировать, и сейчас содержание robots.txt такое:

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Sitemap: http://www.anime-news.org.ua/sitemap.xml

User-agent: Yandex
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Host: www.anime-news.org.ua

Sitemap: http://www.anime-news.org.ua/sitemap.xml


Можно ли так было делать? Если что-то неправильно, скажите что поменять. Движок сайта DLE.

3) Стоит ли использовать директиву Crawl-delay:, если да, то какую временную паузу установить?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Crash34
Crash34
сообщение 25.8.2011, 21:59; Ответить: Crash34
Сообщение #2


Новичок
*


Группа: User
Сообщений: 21
Регистрация: 5.8.2011
Поблагодарили: 6 раз
Репутация:   1  


1) Host понимает только яндекс, поэтому для User-agent: * она не нужна
2) Все правильно. Яндекс любит, когда для него отдельную User-agent: делают
3) Думаю не стоит.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kostiknc
kostiknc
сообщение 25.8.2011, 22:05; Ответить: kostiknc
Сообщение #3


Участник
***

Группа: User
Сообщений: 132
Регистрация: 4.6.2011
Из: Сидней
Поблагодарили: 31 раз
Репутация:   10  


sitemap Достаточно употребить один раз в конце документа.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ErgoProxy
ErgoProxy
Topic Starter сообщение 27.8.2011, 15:33; Ответить: ErgoProxy
Сообщение #4


Участник
***

Группа: User
Сообщений: 118
Регистрация: 2.7.2011
Из: Украина г. Черкассы
Поблагодарили: 10 раз
Репутация:   8  


kostiknc
Загвоздка в том, что конец документа Google понимает разделом для Yandex, судя по данным с "Центр веб-мастеров Google" все, что после User-agent: Yandex он не воспринимает, а Yandex после добавления директивы User-agent: Yandex перестал воспринимать все, что после User-agent: *, так что пришлось Sitemap: дублировать. Есть, какая то проблема в такой ситуации, или ничего страшного?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47409 28.11.2017, 1:05
автор: Akira
Горячая тема (нет новых ответов) Xrumer 16.0 – лучшее обновление за несколько лет. Новые инструменты
88 AnnaYa 20740 27.11.2017, 22:07
автор: Botmaster
Открытая тема (нет новых ответов) Рынок электронных книг растёт за счёт мобильных устройств
26 MissContent 2762 27.11.2017, 17:38
автор: Pingunio
Горячая тема (нет новых ответов) Несколько площадок под ваши статьи и ссылки
79 slaru 16688 23.11.2017, 17:53
автор: kark
Открытая тема (нет новых ответов) Несколько вопросов о переезде на https
Как влияет на сайт и стоит ли оно того?
16 PostBrigada 2995 23.11.2017, 13:49
автор: SergeiVL


 



RSS Текстовая версия Сейчас: 11.12.2017, 8:21
Дизайн