X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Robots.txt для DLE, Закрывать ли архивы
Malkin
Malkin
Topic Starter сообщение 4.1.2011, 17:07; Ответить: Malkin
Сообщение #1


Новичок
*

Группа: Viewer
Сообщений: 4
Регистрация: 24.8.2010
Поблагодарили: 0 раз
Репутация:   0  


Всем известно, что стандартный robots будет такой:

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /tags
Sitemap: http://сайт/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /tags
Sitemap: http://сайт.ru/sitemap.xml
Host: сайт.ru


Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/

Есть ли люди, которые не закрывают их, и успешно продают ссылки в SAPE долгое время?
Баюсь из за этих дублей в бан угодить, позавчера дабвил я:
Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/
Так в САПЕ Многие ссылки в Error попали, понятно из за чего, вот думаю щас заного убрать.
Или лучше убрать и спать спокойно?
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Seo-top
Seo-top
сообщение 4.1.2011, 17:09; Ответить: Seo-top
Сообщение #2


Участник
***

Группа: User
Сообщений: 218
Регистрация: 31.7.2010
Из: Казань
Поблагодарили: 47 раз
Репутация:   12  


(Malkin @ 4.1.2011, 16:07) *
Всем известно, что стандартный robots будет такой:



Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/

Есть ли люди, которые не закрывают их, и успешно продают ссылки в SAPE долгое время?
Баюсь из за этих дублей в бан угодить, позавчера дабвил я:
Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/
Так в САПЕ Многие ссылки в Error попали, понятно из за чего, вот думаю щас заного убрать.
Или лучше убрать и спать спокойно?

Хороший вопрос, но лучше снова добавьте в robots.txt
Disallow: /2010/
Disallow: /2011/

И спите спокойнО, это же дубли, а дубли необходимо убирать, ну ни к чему они.


--------------------
Самый полезный компьютерный форум для всех пользователей глобального интернета.
Проводим конкурс на форуме - самый активный пользователь месяца $!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) ВНИМАНИЕ: Тема имеет прикрепленные файлыПишу тексты для всех и каждого. Цены не кусаются, качество не хромает.
Единственное правило: клиент всегда доволен.
124 Hellnar 50414 Сегодня, 14:35
автор: Hellnar
Открытая тема (нет новых ответов) Найду для вас домены
16 MakDonald 2871 Сегодня, 9:06
автор: alekspik
Открытая тема (нет новых ответов) Чем сжимать картинки для сайта без потери качества
1st-finstep.ru - Заработок в сети и методы продвижения сайта
16 komarik_vlad 1712 Вчера, 20:11
автор: komarik_vlad
Горячая тема (нет новых ответов) Leongram - бесплатная программа для продвижения в Instagram
91 DeOne 18384 Вчера, 19:27
автор: DeOne
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
143 contex1 65257 Вчера, 9:07
автор: contex1


 



RSS Текстовая версия Сейчас: 18.12.2017, 15:19
Дизайн