И снова robot.txt на DLE - SEO форум MaulTalk.com

Сообщение сайта

(Сообщение закроется через 3 секунды)

Здравствуйте, гость (

| Вход | Регистрация )

SEO форум MaulTalk.com > Поисковая оптимизация > Поисковая оптимизация (SEO)

3 страниц

< 1 2 3

И снова robot.txt на DLE

Опции

Zidein

Topic Starter сообщение

21.2.2012, 0:16; Ответить: Zidein

Сообщение #21

Участник

Группа: User
Сообщений: 220
Регистрация: 7.2.2012
Из: Новосибирск
Поблагодарили: 45 раз
Репутация:

Зашел как то в панель вебмастера в гугле. он пишет: "Некоторые важные страницы блокируются в файле robots.txt. "

и соответственно вот мой робот.ТхТ

User-agent: *
Allow: /
Disallow: /*page/
Disallow: /*newposts
Disallow: /*print
Disallow: /*userinfo
Disallow: /*new_post
Disallow: /*watched
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=tags
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*action=mobile*
Disallow: /backup/*
Disallow: /engine/*
Disallow: /favorites/*
Disallow: /templates/*
Disallow: /newposts/*
Disallow: /language/*
Disallow: /catalog/*
Disallow: /tags/*
Disallow: /user/*
Disallow: /2011/*
Disallow: /2012/*
Disallow: /rss.php
Disallow: /rules.html
Disallow: /statistics.html
Sitemap: http://thespring.ru/sitemap.xml
User-agent: Yandex
Allow: /
Disallow: /*page/
Disallow: /*newposts
Disallow: /*print
Disallow: /*userinfo
Disallow: /*new_post
Disallow: /*watched
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=tags
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*action=mobile*
Disallow: /backup/*
Disallow: /engine/*
Disallow: /favorites/*
Disallow: /templates/*
Disallow: /newposts/*
Disallow: /language/*
Disallow: /catalog/*
Disallow: /tags/*
Disallow: /user/*
Disallow: /2011/*
Disallow: /2012/*
Disallow: /rss.php
Disallow: /rules.html
Disallow: /statistics.html
Sitemap: http://thespring.ru/sitemap.xml

что лишнее, что не так?

Ответить с цитированием данного сообщения

KDA11 KDA11 20.4.2012, 1:24; Сообщений: 17 Поблагодарили: 1 раз Репутация: 0 Просмотр профиля	20.4.2012, 1:24; Ответить: KDA11 Сообщение #22
Новичок Группа: User Сообщений: 17 Регистрация: 17.4.2009 Поблагодарили: 1 раз Репутация: 0	Еще можно исключить из индексирования архив новостей Disallow: /2012/ дабы не было дублей Сообщение отредактировал KDA11 - 20.4.2012, 1:24

ramazanaman ramazanaman 21.4.2012, 23:08; Сообщений: 553 Поблагодарили: 84 раза Репутация: 14 Просмотр профиля	21.4.2012, 23:08; Ответить: ramazanaman Сообщение #23
Завсегдатай Группа: Banned Сообщений: 553 Регистрация: 14.10.2011 Поблагодарили: 84 раза Репутация: 14	Посоветовал бы вам оставить дефолт робота, а теги и для яндекса неплохо бы оставить, кроме главной конечно, только в фулстори.

Kerosin Kerosin 22.4.2012, 21:51; Сообщений: 99 Поблагодарили: 10 раз Репутация: 2 Просмотр профиля	22.4.2012, 21:51; Ответить: Kerosin Сообщение #24
Частый гость Группа: User Сообщений: 99 Регистрация: 23.1.2012 Поблагодарили: 10 раз Репутация: 2	/page/ закрывайте тоже - это дубли.

trollo trollo 10.5.2012, 20:04; Сообщений: 34 Поблагодарили: 1 раз Репутация: -2 Просмотр профиля	10.5.2012, 20:04; Ответить: trollo Сообщение #25
Новичок Группа: User Сообщений: 34 Регистрация: 21.2.2012 Из: москва Поблагодарили: 1 раз Репутация: -2	(Zidein @ 20.2.2012, 22:16) что лишнее, что не так? а зачем блокировать индексирование мобильной версии ??? -------------------- Продам Универсальный граббер под DLE. - Наполнение контентом с любых сайтов. Бесплатный хостинг

Elektromaster Elektromaster 10.5.2012, 20:36; Сообщений: 662 Поблагодарили: 230 раз Репутация: 45 Просмотр профиля	10.5.2012, 20:36; Ответить: Elektromaster Сообщение #26
ESCALADE User Группа: Active User Сообщений: 662 Регистрация: 28.10.2007 Из: Lietuva Поблагодарили: 230 раз Репутация: 45	*Disallow: /print - вот с этим тоже по-осторожнее! У себя убрал, месяца три назад, пока не понял в чём дело... а дело оказалось в следующем: 1) Ломал голову, как у меня статьи из раздела сайта в категрии "Спорт", запрещены в роботсе??? 2) Оказалось всё просто, как три рубля: эскимосский поисковик блокировал все статьи, имеющие в URL слово print! Пример: "Вася Пупкин стал обладателем кубка Европы в спринтерской гонке". В URL-е это пишется так: sprinterskoy-gonke.html И все статьи, содержащие в адресе вот этот print - запретились роботсом.... Кое-как догнал, в чём дело. Сообщение отредактировал Elektromaster** - 10.5.2012, 20:38

trollo

10.5.2012, 20:41; Ответить: trollo

Сообщение #27

Новичок

Группа: User
Сообщений: 34
Регистрация: 21.2.2012
Из: москва
Поблагодарили: 1 раз
Репутация:

-2

оно так пишет потому что много ссылок(скорее всего внутренних) на эти странички (заблокированые) ..
у меня на одном сайте месяц уже так пишет и ничего ...

я не знаю почему ты так заморачиваешся ... в дле и стандартный роботс нормальный

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой

или обратитесь к любому из модераторов.

--------------------

Продам Универсальный граббер под DLE. - Наполнение контентом с любых сайтов.
Бесплатный хостинг

« Предыдущая тема · Поисковая оптимизация (SEO) · Следующая тема »

3 страниц

< 1 2 3

1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)

Пользователей: 0

Похожие темы

Тема	Ответов	Автор	Просмотров	Последний ответ
DLE xProtect	2	xoopw	5977	15.1.2024, 21:06 автор: Diana_Wesley
Обновить сайт на CMS DLE	1	Sawich	1661	2.9.2023, 10:10 автор: WoWeb
Изготовление красивых сайтов на DLE под ключ \| Доступные цены от 2000 руб.	1	Admiral_ukr	1598	20.11.2022, 10:08 автор: Webmaster24
Ищу спеца по DLE вылечить сайт	4	Reactive	2640	22.10.2022, 9:01 автор: Fozik77
требуется перенос с Dle на wordpres нужен человек для переноса движка	5	Юрий82	1943	30.7.2022, 18:02 автор: Klerik84

Режим отображения: Стандартный · Переключить на: Линейный · Переключить на: Древовидный

Подписка на тему · Сообщить другу · Версия для печати · Подписка на этот форум

Текстовая версия

Сейчас: 19.4.2024, 16:36

Дизайн