X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Пару вопросов касательно robots.txt
ErgoProxy
ErgoProxy
Topic Starter сообщение 13.9.2011, 20:59; Ответить: ErgoProxy
Сообщение #1


Участник
***

Группа: User
Сообщений: 118
Регистрация: 2.7.2011
Из: Украина г. Черкассы
Поблагодарили: 10 раз
Репутация:   8  


Начал делать новый сайт, движок сайта DLE, написал для сайта вот такой robots.txt:
User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /page/
Disallow: /2011/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /backup/
Disallow: /language/
Disallow: /cron.php
Disallow: /admin.php
Disallow: /*do=search
Disallow: /tags/

Sitemap: http://адрес сайта/sitemap.xml

User-agent: Yandex
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /page/
Disallow: /2011/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /backup/
Disallow: /language/
Disallow: /cron.php
Disallow: /admin.php
Disallow: /*do=search
Disallow: /tags/

Host: адрес сайта


Всё ли правильно? Может, что то зря запретил? Что ещё вы посоветовали бы запретить?

Отдельный вопрос по поводу папок /cgi-bin/ /templates/ и /uploads/. В некоторых местах читал, что их тоже надо запретить, но ИМХО в папку /cgi-bin/ поисковики не залезут, а папки /templates/ и /uploads/ лучше не запрещать, так как изображения сайта храняться там, и выходит, что если запретить эти папки, тогда Google Images и Yandex Картинки не проиндексируют изображения на сайте. Но всё же в этих папках помимо нужных изображений есть и не нужные вещи, как их запретить, не закрыв изображения.

P.S. Есть ли на форуме тег спойлер? А то, как то некрасиво выходит при добавлении большого кода, а тег не могу найти.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал ErgoProxy - 13.9.2011, 21:06
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49792 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Правильный robots.txt для datalife engine какой он?
4 cerrus 826 24.3.2018, 18:17
автор: bobur
Открытая тема (нет новых ответов) Скачать пару модулей с сайта wmasteru.org.
Скачать пару модулей с сайта wmasteru.org.
0 bibika 376 24.2.2018, 17:48
автор: bibika
Открытая тема (нет новых ответов) Возьму пару заказов на дизайн для портфолио
За полцены
0 foxlite 541 8.1.2018, 21:50
автор: foxlite
Открытая тема (нет новых ответов) Индексация в Google за пару часов
0 websat 607 17.11.2017, 12:14
автор: websat


 



RSS Текстовая версия Сейчас: 22.5.2018, 16:40
Дизайн