X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

> Robots.txt для DLE, Закрывать ли архивы
Malkin
Malkin
Topic Starter сообщение 4.1.2011, 17:07; Ответить: Malkin
Сообщение #1


Всем известно, что стандартный robots будет такой:

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /tags
Sitemap: http://сайт/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /tags
Sitemap: http://сайт.ru/sitemap.xml
Host: сайт.ru


Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/

Есть ли люди, которые не закрывают их, и успешно продают ссылки в SAPE долгое время?
Баюсь из за этих дублей в бан угодить, позавчера дабвил я:
Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/
Так в САПЕ Многие ссылки в Error попали, понятно из за чего, вот думаю щас заного убрать.
Или лучше убрать и спать спокойно?
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
 
Открыть тему
Ответов (1 - 1)
Seo-top
Seo-top
сообщение 4.1.2011, 17:09; Ответить: Seo-top
Сообщение #2


(Malkin @ 4.1.2011, 16:07) *
Всем известно, что стандартный robots будет такой:



Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/

Есть ли люди, которые не закрывают их, и успешно продают ссылки в SAPE долгое время?
Баюсь из за этих дублей в бан угодить, позавчера дабвил я:
Вот только недавно узнал что многие также закрывают в rоbots архивы новостей:
Disallow: /2010/
Disallow: /2011/
Так в САПЕ Многие ссылки в Error попали, понятно из за чего, вот думаю щас заного убрать.
Или лучше убрать и спать спокойно?

Хороший вопрос, но лучше снова добавьте в robots.txt
Disallow: /2010/
Disallow: /2011/

И спите спокойнО, это же дубли, а дубли необходимо убирать, ну ни к чему они.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) ✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐
Сервис для получения SMS на реальные номера USA
13 Chekon 4078 18.4.2024, 11:48
автор: Chekon
Открытая тема (нет новых ответов) Rebex.io – Ваша инновационная платформа для обмена криптовалюты!
1 Rebex 689 17.4.2024, 11:50
автор: Rebex
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
11 Aloof 2821 16.4.2024, 12:48
автор: diviner99
Горячая тема (нет новых ответов) Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат
54 arendator 34838 15.4.2024, 15:16
автор: arendator
Горячая тема (нет новых ответов) ⭕Антидетект браузер AdsPower для эффективной работы с мультиаккаунтами!
83 AdsPower 24426 14.4.2024, 22:52
автор: AdsPower


 



RSS Текстовая версия Сейчас: 20.4.2024, 5:21
Дизайн