X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

> Помогите закрыть страницы с дублем, dle
yurashklyaev
yurashklyaev
Topic Starter сообщение 25.8.2012, 17:58; Ответить: yurashklyaev
Сообщение #1


В роботсе прописал вот такое
[quote]User-agent: *
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2012/$
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /index.php?do=feedback
Disallow: /share42
Host:
Sitemap:


User-agent: Yandex
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2012/$
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /index.php?do=feedback
Disallow: /share42
Host:
Sitemap:


User-agent: Google
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2012/$
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /index.php?do=feedback
Disallow: /share42
Host:
Sitemap:

но страницы с архива в индекс попадают, что делать?

в разделе хост указано основное зеркало, не палю пока сайт

Сообщение отредактировал yurashklyaev - 25.8.2012, 18:00
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
 
Открыть тему
Ответов (1 - 6)
sergei_777
sergei_777
сообщение 29.8.2012, 0:01; Ответить: sergei_777
Сообщение #2


Заменить:
Disallow: /2012/$

на
Disallow: /2012


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Veniamin
Veniamin
сообщение 29.8.2012, 1:00; Ответить: Veniamin
Сообщение #3


а если прописано
(yurashklyaev @ 25.8.2012, 15:58) *
User-agent: *

то смысл для каждого поисковика прописывать Disallow ?


--------------------

XRumer 7.5.30 Elite - рекомендую всем вебмастерам
Скидки при покупке по реф. ссылке
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ManGysITI
ManGysITI
сообщение 29.8.2012, 1:43; Ответить: ManGysITI
Сообщение #4


(Veniamin @ 28.8.2012, 23:00) *
то смысл для каждого поисковика прописывать Disallow ?


специально для яндекса. Он игнорирует * даже в хелпе написано об этом


--------------------
Оптимизация и продвижение сайтов - консультации от 30$ Связь через личку
Качественный копирайт заказываю здесь.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Aleksandrometr
Aleksandrometr
сообщение 30.8.2012, 11:41; Ответить: Aleksandrometr
Сообщение #5


Вот правильный (мой) роботс.txt для DLE:
User-agent: *
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /user/*
Disallow: /user/*/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*newsid=*
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /rss.xml
Disallow: /*/rss.xml
Disallow: /*/*/rss.xml
Disallow: /page/*/
Disallow: /main.html
Disallow: /&gt
Disallow: /*?*
Disallow: /1-post1.html
Disallow: /2-post2.html
Disallow: /3-post3.html
Disallow: /4-post4.html

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

User-agent: Yandex
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /user/*
Disallow: /user/*/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*newsid=*
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /rss.xml
Disallow: /*/rss.xml
Disallow: /*/*/rss.xml
Disallow: /page/*/
Disallow: /main.html
Disallow: /&gt
Disallow: /*?*
Disallow: /1-post1.html
Disallow: /2-post2.html
Disallow: /3-post3.html
Disallow: /4-post4.html

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

User-agent: MediaPartners-Google
Allow: /

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DukeNukem
DukeNukem
сообщение 30.8.2012, 11:46; Ответить: DukeNukem
Сообщение #6


вот это бред

Disallow: /user/*
Disallow: /user/*/


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
post4ok
post4ok
сообщение 17.9.2012, 16:56; Ответить: post4ok
Сообщение #7


Здравствуйте, дорогие форумчане!

Сейчас я делаю сайт по мобильным играм. Но возникла такая проблема, что есть игры, которые подойдут сразу для нескольких телефонов, соответственно я их буду добавлять в несколько категорий. Например, Игра №1 подходит для телефона Nokia 5320 и Nokia 5230 и т.д, я эту игру добавлю и для того телефона, и для того. Исходя из этого, получится дубль. Как с этим бороться и стоит ли? Дело в том, что мне нужно чтобы как раз-таки эти разделы и индексировались. То есть главный траф будет идти именно на разделы, в которых будут дубли.

Для примера траф будет идти примерно по таким запросам: скачать игры для nokia 5320, игры для nokia 5320 и т.д. На эти запросы будет страница в поиске такого вида: site.ru/games-nokia-5320. Что по этому поводу посоветуете?

Заранее благодарен за помощь!

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Нужно ли закрывать ненужные страницы тегом noindex, follow?
8 noviktamw 2913 2.3.2024, 12:53
автор: toplinks
Открытая тема (нет новых ответов) Помогите вспомнить рекламного бота Телеграм для обмена рекламой
0 Mixatraider 727 21.2.2024, 23:42
автор: Mixatraider
Открытая тема (нет новых ответов) Сверстать страницы из figma
нужно сделать страницы для веб приложения
1 bluestorm 1297 7.6.2022, 18:11
автор: doharddocode
Открытая тема (нет новых ответов) Подобрать группы и страницы и разместить ссылку
4 Lacomka 3412 21.2.2022, 8:43
автор: АлексейWEB
Открытая тема (нет новых ответов) Верстка и внедрение на сайт макета главной страницы
Требуется: с Figma на Laravel
2 ARsHi 1672 27.3.2021, 0:57
автор: Ogaelath


 



RSS Текстовая версия Сейчас: 23.4.2024, 6:47
Дизайн