X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Robots.txt для DLE, Закрывать ли архивы
Malkin
Malkin
Topic Starter сообщение 4.1.2011, 17:07; Ответить: Malkin
Сообщение #1


Новичок
*

Группа: Viewer
Сообщений: 4
Регистрация: 24.8.2010
Поблагодарили: 0 раз
Репутация:   0  


Всем известно, что стандартный robots будет такой:

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /tags
Sitemap: http://сайт/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /tags
Sitemap: http://сайт.ru/sitemap.xml
Host: сайт.ru


Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/

Есть ли люди, которые не закрывают их, и успешно продают ссылки в SAPE долгое время?
Баюсь из за этих дублей в бан угодить, позавчера дабвил я:
Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/
Так в САПЕ Многие ссылки в Error попали, понятно из за чего, вот думаю щас заного убрать.
Или лучше убрать и спать спокойно?
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Seo-top
Seo-top
сообщение 4.1.2011, 17:09; Ответить: Seo-top
Сообщение #2


Участник
***

Группа: User
Сообщений: 218
Регистрация: 31.7.2010
Из: Казань
Поблагодарили: 47 раз
Репутация:   12  


(Malkin @ 4.1.2011, 16:07) *
Всем известно, что стандартный robots будет такой:



Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/

Есть ли люди, которые не закрывают их, и успешно продают ссылки в SAPE долгое время?
Баюсь из за этих дублей в бан угодить, позавчера дабвил я:
Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/
Так в САПЕ Многие ссылки в Error попали, понятно из за чего, вот думаю щас заного убрать.
Или лучше убрать и спать спокойно?

Хороший вопрос, но лучше снова добавьте в robots.txt
Disallow: /2010/
Disallow: /2011/

И спите спокойнО, это же дубли, а дубли необходимо убирать, ну ни к чему они.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Самый полезный компьютерный форум для всех пользователей глобального интернета.
Проводим конкурс на форуме - самый активный пользователь месяца $!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Конкурс-квест для криптоманов (500 usd)
Отыщи зашифрованные фразы на картинке и выиграй деньги
9 kursexpert 1745 Сегодня, 11:46
автор: kursexpert
Открытая тема (нет новых ответов) В России могут создать "белый VPN" для добросовестных ресурсов
1 seostock 733 Вчера, 23:49
автор: VBin
Открытая тема (нет новых ответов) Копирайтер для постоянной работы (девушкам), 50 руб/1000
тематика - бьюти, уход за телом, косметика, маникюр...
5 genjnat 1272 Вчера, 13:25
автор: genjnat
Открытая тема (нет новых ответов) 90 статейных ссылок. Хорошие доноры для вашего сайта.
9 blogprogon 356 18.5.2018, 16:48
автор: 26rus
Открытая тема (нет новых ответов) Предложение бартера для опытных СЕО
28 Kiloan_Frost 1332 18.5.2018, 15:10
автор: Kiloan_Frost


 



RSS Текстовая версия Сейчас: 20.5.2018, 14:32
Дизайн