X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Помогите закрыть страницы с дублем, dle
yurashklyaev
yurashklyaev
Topic Starter сообщение 25.8.2012, 17:58; Ответить: yurashklyaev
Сообщение #1


Участник
***

Группа: User
Сообщений: 157
Регистрация: 2.10.2011
Поблагодарили: 14 раз
Репутация:   4  


В роботсе прописал вот такое
[quote]User-agent: *
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2012/$
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /index.php?do=feedback
Disallow: /share42
Host:
Sitemap:


User-agent: Yandex
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2012/$
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /index.php?do=feedback
Disallow: /share42
Host:
Sitemap:


User-agent: Google
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2012/$
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /index.php?do=feedback
Disallow: /share42
Host:
Sitemap:

но страницы с архива в индекс попадают, что делать?

в разделе хост указано основное зеркало, не палю пока сайт

Сообщение отредактировал yurashklyaev - 25.8.2012, 18:00
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sergei_777
sergei_777
сообщение 29.8.2012, 0:01; Ответить: sergei_777
Сообщение #2


Новичок
*

Группа: User
Сообщений: 29
Регистрация: 21.8.2011
Поблагодарили: 2 раза
Репутация:   0  


Заменить:
Disallow: /2012/$

на
Disallow: /2012


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Veniamin
Veniamin
сообщение 29.8.2012, 1:00; Ответить: Veniamin
Сообщение #3


Частый гость
**

Группа: User
Сообщений: 73
Регистрация: 18.8.2012
Из: Киев
Поблагодарили: 5 раз
Репутация:   1  


а если прописано
(yurashklyaev @ 25.8.2012, 15:58) *
User-agent: *

то смысл для каждого поисковика прописывать Disallow ?


--------------------

XRumer 7.5.30 Elite - рекомендую всем вебмастерам
Скидки при покупке по реф. ссылке
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ManGysITI
ManGysITI
сообщение 29.8.2012, 1:43; Ответить: ManGysITI
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 426
Регистрация: 8.10.2011
Из: Минск
Поблагодарили: 141 раз
Репутация:   19  


(Veniamin @ 28.8.2012, 23:00) *
то смысл для каждого поисковика прописывать Disallow ?


специально для яндекса. Он игнорирует * даже в хелпе написано об этом


--------------------
Оптимизация и продвижение сайтов - консультации от 30$ Связь через личку
Качественный копирайт заказываю здесь.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Aleksandrometr
Aleksandrometr
сообщение 30.8.2012, 11:41; Ответить: Aleksandrometr
Сообщение #5


I ♥ BassBoosted
*****

Группа: Active User
Сообщений: 544
Регистрация: 23.8.2012
Поблагодарили: 203 раза
Репутация:   77  


Вот правильный (мой) роботс.txt для DLE:
User-agent: *
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /user/*
Disallow: /user/*/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*newsid=*
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /rss.xml
Disallow: /*/rss.xml
Disallow: /*/*/rss.xml
Disallow: /page/*/
Disallow: /main.html
Disallow: /&gt
Disallow: /*?*
Disallow: /1-post1.html
Disallow: /2-post2.html
Disallow: /3-post3.html
Disallow: /4-post4.html

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

User-agent: Yandex
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /user/*
Disallow: /user/*/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*newsid=*
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /rss.xml
Disallow: /*/rss.xml
Disallow: /*/*/rss.xml
Disallow: /page/*/
Disallow: /main.html
Disallow: /&gt
Disallow: /*?*
Disallow: /1-post1.html
Disallow: /2-post2.html
Disallow: /3-post3.html
Disallow: /4-post4.html

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

User-agent: MediaPartners-Google
Allow: /

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DukeNukem
DukeNukem
сообщение 30.8.2012, 11:46; Ответить: DukeNukem
Сообщение #6


DNSTUFF
*****

Группа: Active User
Сообщений: 638
Регистрация: 7.10.2010
Из: Украина. Запорожье
Поблагодарили: 240 раз
Репутация:   39  


вот это бред

Disallow: /user/*
Disallow: /user/*/


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
post4ok
post4ok
сообщение 17.9.2012, 16:56; Ответить: post4ok
Сообщение #7


Новичок
*

Группа: Viewer
Сообщений: 13
Регистрация: 11.8.2012
Поблагодарили: 3 раза
Репутация:   1  


Здравствуйте, дорогие форумчане!

Сейчас я делаю сайт по мобильным играм. Но возникла такая проблема, что есть игры, которые подойдут сразу для нескольких телефонов, соответственно я их буду добавлять в несколько категорий. Например, Игра №1 подходит для телефона Nokia 5320 и Nokia 5230 и т.д, я эту игру добавлю и для того телефона, и для того. Исходя из этого, получится дубль. Как с этим бороться и стоит ли? Дело в том, что мне нужно чтобы как раз-таки эти разделы и индексировались. То есть главный траф будет идти именно на разделы, в которых будут дубли.

Для примера траф будет идти примерно по таким запросам: скачать игры для nokia 5320, игры для nokia 5320 и т.д. На эти запросы будет страница в поиске такого вида: site.ru/games-nokia-5320. Что по этому поводу посоветуете?

Заранее благодарен за помощь!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Приоритет верхней части страницы
1 b3rsus 460 Вчера, 21:45
автор: vvovvo
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыОшибка при создании шаблона страницы ВП
Нет картинок
5 semarg 665 9.12.2017, 15:36
автор: Nell
Открытая тема (нет новых ответов) Помогите выбрать программу
Помогите выбрать программу
10 impak 1262 4.12.2017, 18:31
автор: bitcoin24_exchange
Открытая тема (нет новых ответов) Поиск страницы VK.COM по номеру мобильного телефона.
10 detalist 3167 4.12.2017, 12:28
автор: detalist
Открытая тема (нет новых ответов) Помогите найти плагин на WP
Отзывы с профилей соц сетей
1 SEOMR 429 30.11.2017, 7:18
автор: Nell


 



RSS Текстовая версия Сейчас: 11.12.2017, 12:21
Дизайн