X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Robots.txt, как убрать дубли в dle
snoop
snoop
Topic Starter сообщение 2.1.2010, 12:05; Ответить: snoop
Сообщение #1


Участник
***

Группа: User
Сообщений: 175
Регистрация: 16.5.2008
Поблагодарили: 7 раз
Репутация:   2  


Здравствуйте. Каким образом нужно отредактировать robots.txt, чтобы убрать из индекса дубли страниц вида "Новости за 30.12.2009" или "Архив за август"?
Заранее спасибо


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Futurman
Futurman
сообщение 2.1.2010, 12:20; Ответить: Futurman
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 545
Регистрация: 4.9.2009
Поблагодарили: 119 раз
Репутация:   12  


Нужны полные урл-ы данных страниц а не их названия...

up: не увидел что написано dle smile.gif

В данном случае закрываете год или месяц какой Вам надо.
Например

Disallow: /2007/

закроет весь год

Disallow: /2007/12/

Закроет только месяц.

Проблема уже в другом, все зависит от Вашего ЧПУ, т.к. урл может быть вида http://сайт.ру/2008/01/03/чего_то_там.html

Тогда закрывая год Вы закрываете и материалы тоже.

Тогда уже применяем конструкцию вида.

Disallow: /2007/09/page/

что позволит хотябы частично убрать мусор
либо

Disallow: /2007/*/page/

Сообщение отредактировал Futurman - 2.1.2010, 12:29


--------------------
..


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DarkZo5m
DarkZo5m
сообщение 2.1.2010, 12:22; Ответить: DarkZo5m
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 619
Регистрация: 18.10.2009
Из: :бу: :шкА
Поблагодарили: 181 раз
Репутация:   34  


Все страницы вашего вида начинаются со слеша и года, по крайней мере у меня на моих DLE сайтах.
Впишите в robots.txt:

User-agent: *
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/

Уберёт страницы вида, которого вы указали с 2007 года до конца света... cool.gif

Сообщение отредактировал DarkZo5m - 2.1.2010, 12:23


--------------------
Продаю готовый рерайт, а также делаю рерайт на заказ.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
snoop
snoop
Topic Starter сообщение 2.1.2010, 12:42; Ответить: snoop
Сообщение #4


Участник
***

Группа: User
Сообщений: 175
Регистрация: 16.5.2008
Поблагодарили: 7 раз
Репутация:   2  


(DarkZo5m @ 2.1.2010, 11:22) *
Все страницы вашего вида начинаются со слеша и года, по крайней мере у меня на моих DLE сайтах.
Впишите в robots.txt:

User-agent: *
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/

Уберёт страницы вида, которого вы указали с 2007 года до конца света... cool.gif

а новости вида сайт.ru/категория/новость.html будут индексироваться? smile.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 2.1.2010, 12:52; Ответить: Tollun
Сообщение #5


Старожил
******

Группа: Active User
Сообщений: 1595
Регистрация: 1.10.2009
Из: Хабаровск
Поблагодарили: 394 раза
Репутация:   66  


(snoop @ 2.1.2010, 18:42) *
а новости вида сайт.ru/категория/новость.html будут индексироваться?

это только на архивы будет действовать

Решение одной строчкой.
Disallow: /20*/*


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DarkZo5m
DarkZo5m
сообщение 2.1.2010, 12:52; Ответить: DarkZo5m
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 619
Регистрация: 18.10.2009
Из: :бу: :шкА
Поблагодарили: 181 раз
Репутация:   34  


(snoop @ 2.1.2010, 13:42) *
а новости вида сайт.ru/категория/новость.html будут индексироваться? smile.gif


Конечно будут!

(Tollun @ 2.1.2010, 13:52) *
это только на архивы будет действовать


Да ну! А на календарь вида http://сайт.ру/2010/01/02/, например, не подействует?

(Tollun @ 2.1.2010, 13:52) *
Решение одной строчкой.
Disallow: /20*/*


Тоже правильно, этот вариант подойдёт, если в конец света вы не верите. tongue.gif

Сообщение отредактировал DarkZo5m - 2.1.2010, 12:57


--------------------
Продаю готовый рерайт, а также делаю рерайт на заказ.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 2.1.2010, 13:04; Ответить: Tollun
Сообщение #7


Старожил
******

Группа: Active User
Сообщений: 1595
Регистрация: 1.10.2009
Из: Хабаровск
Поблагодарили: 394 раза
Репутация:   66  


(DarkZo5m @ 2.1.2010, 18:52) *
Да ну! А на календарь вида http://сайт.ру/2010/01/02/, например, не подействует?

А календарь уже не архив за определённое число?

Сообщение отредактировал Tollun - 2.1.2010, 13:05


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DarkZo5m
DarkZo5m
сообщение 2.1.2010, 13:16; Ответить: DarkZo5m
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 619
Регистрация: 18.10.2009
Из: :бу: :шкА
Поблагодарили: 181 раз
Репутация:   34  


(Tollun @ 2.1.2010, 14:04) *
А календарь уже не архив за определённое число?


Не знаю как вы, но я разделяю календарь и архивы за месяц как два разных понятия, так как они выводятся разными тегами и выглядят по-разному.
Архивы за месяц - это например /2007/12/, а вот календарь отдает именно новости за какой-то день, например /2007/12/20/.

ТС спросил про эти вещи именно как про 2 разных понятия, поэтому я вам так и ответил.

Сообщение отредактировал DarkZo5m - 2.1.2010, 13:17


--------------------
Продаю готовый рерайт, а также делаю рерайт на заказ.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Tollun
Tollun
сообщение 2.1.2010, 13:24; Ответить: Tollun
Сообщение #9


Старожил
******

Группа: Active User
Сообщений: 1595
Регистрация: 1.10.2009
Из: Хабаровск
Поблагодарили: 394 раза
Репутация:   66  


Вывод записей за год, за месяц, за день - и что-то является архивом а что-то нет...
Логика из ряда "если нагреть нож - этой уже не холодное оружие" smile.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
desoto
desoto
сообщение 2.1.2010, 13:24; Ответить: desoto
Сообщение #10


Завсегдатай
*****

Группа: Active User
Сообщений: 568
Регистрация: 10.7.2008
Поблагодарили: 129 раз
Репутация:   29  


Если уж начали от дублей избавляться, то рубите все. Я например ещё и анкеты пользователей закрыл. Мой роботс выглядит так:
User-agent: Yandex
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /user/


User-agent: *
Disallow: /*print


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47455 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 482 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1188 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 695 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 13.12.2017, 22:40
Дизайн