Пару вопросов касательно robots.txt

Сообщение сайта

(Сообщение закроется через 3 секунды)

Здравствуйте, гость (

| Вход | Регистрация )

SEO форум MaulTalk.com > Веб-строительство > Программная часть

Пару вопросов касательно robots.txt

Опции

ErgoProxy

Topic Starter

13.9.2011, 20:59; Ответить: ErgoProxy

Сообщение #1

Участник

Группа: User
Сообщений: 118
Регистрация: 2.7.2011
Из: Украина г. Черкассы
Поблагодарили: 10 раз
Репутация:

Начал делать новый сайт, движок сайта DLE, написал для сайта вот такой robots.txt:

User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /page/
Disallow: /2011/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /backup/
Disallow: /language/
Disallow: /cron.php
Disallow: /admin.php
Disallow: /*do=search
Disallow: /tags/

Sitemap: http://адрес сайта/sitemap.xml

User-agent: Yandex
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /page/
Disallow: /2011/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /backup/
Disallow: /language/
Disallow: /cron.php
Disallow: /admin.php
Disallow: /*do=search
Disallow: /tags/

Host: адрес сайта

Всё ли правильно? Может, что то зря запретил? Что ещё вы посоветовали бы запретить?

Отдельный вопрос по поводу папок /cgi-bin/ /templates/ и /uploads/. В некоторых местах читал, что их тоже надо запретить, но ИМХО в папку /cgi-bin/ поисковики не залезут, а папки /templates/ и /uploads/ лучше не запрещать, так как изображения сайта храняться там, и выходит, что если запретить эти папки, тогда Google Images и Yandex Картинки не проиндексируют изображения на сайте. Но всё же в этих папках помимо нужных изображений есть и не нужные вещи, как их запретить, не закрыв изображения.

P.S. Есть ли на форуме тег спойлер? А то, как то некрасиво выходит при добавлении большого кода, а тег не могу найти.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой

или обратитесь к любому из модераторов.

Сообщение отредактировал ErgoProxy - 13.9.2011, 21:06

Ответить с цитированием данного сообщения

« Предыдущая тема · Программная часть · Следующая тема »

1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)

Пользователей: 0

Похожие темы

Тема	Ответов	Автор	Просмотров	Последний ответ
Наполнение сайтов вопросов и ответов	1	Solonik	1382	3.2.2022, 0:31 автор: Vitelius900
написать пару шаблонов ZennoPoster	0	Taylor	6013	20.6.2021, 3:25 автор: Taylor
Разыскиваю пару толковых разработчиков сайтов	2	vadosseo	1621	14.11.2019, 20:59 автор: qpPeW
Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ	138	Akira	79079	12.8.2019, 21:28 автор: neonix
Сделаю дёшево пару лэндингов	3	WebProf_mw	1509	18.6.2019, 10:32 автор: FIvYUr

Режим отображения: Стандартный · Переключить на: Линейный · Переключить на: Древовидный

Подписка на тему · Сообщить другу · Версия для печати · Подписка на этот форум

Текстовая версия

Сейчас: 23.4.2024, 22:48

Дизайн