X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Пару вопросов касательно robots.txt
ErgoProxy
ErgoProxy
Topic Starter сообщение 13.9.2011, 20:59; Ответить: ErgoProxy
Сообщение #1


Участник
***

Группа: User
Сообщений: 118
Регистрация: 2.7.2011
Из: Украина г. Черкассы
Поблагодарили: 10 раз
Репутация:   8  


Начал делать новый сайт, движок сайта DLE, написал для сайта вот такой robots.txt:
User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /page/
Disallow: /2011/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /backup/
Disallow: /language/
Disallow: /cron.php
Disallow: /admin.php
Disallow: /*do=search
Disallow: /tags/

Sitemap: http://адрес сайта/sitemap.xml

User-agent: Yandex
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /page/
Disallow: /2011/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /backup/
Disallow: /language/
Disallow: /cron.php
Disallow: /admin.php
Disallow: /*do=search
Disallow: /tags/

Host: адрес сайта


Всё ли правильно? Может, что то зря запретил? Что ещё вы посоветовали бы запретить?

Отдельный вопрос по поводу папок /cgi-bin/ /templates/ и /uploads/. В некоторых местах читал, что их тоже надо запретить, но ИМХО в папку /cgi-bin/ поисковики не залезут, а папки /templates/ и /uploads/ лучше не запрещать, так как изображения сайта храняться там, и выходит, что если запретить эти папки, тогда Google Images и Yandex Картинки не проиндексируют изображения на сайте. Но всё же в этих папках помимо нужных изображений есть и не нужные вещи, как их запретить, не закрыв изображения.

P.S. Есть ли на форуме тег спойлер? А то, как то некрасиво выходит при добавлении большого кода, а тег не могу найти.

Сообщение отредактировал ErgoProxy - 13.9.2011, 21:06
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47458 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Несколько вопросов о переезде на https
Как влияет на сайт и стоит ли оно того?
16 PostBrigada 3005 23.11.2017, 13:49
автор: SergeiVL
Открытая тема (нет новых ответов) Пара вопросов по iphone
10 kesn 1187 22.11.2017, 16:25
автор: wertu
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 484 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) Индексация в Google за пару часов
0 websat 453 17.11.2017, 12:14
автор: websat


 



RSS Текстовая версия Сейчас: 14.12.2017, 2:54
Дизайн