X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Совет по изменению robot.txt DLE 9.6, нужен дельный совет по редактированию robot.txt
jorjo22
jorjo22
Topic Starter сообщение 13.2.2013, 11:57; Ответить: jorjo22
Сообщение #1


Бывалый
****


Группа: User
Сообщений: 280
Регистрация: 30.4.2012
Из: Киев
Поблагодарили: 16 раз
Репутация:   3  


Всем привет.
Посмотрел на днях какие страници у меня сидят в индексе и призудумался над запретом к индексации некоторых страниц:
мой сайт androidsofts.net
Так как сайт новостной то хочу закрыть от индексации страниц таких как добавление новостей, регистрация, вход в систему, страинцы с новостями таким как site.ru/novosti/2/ и аналогичные дубли
также нужна рекомендация по методу как убирать дубли

Содержимое файла после моих правок (делал по этим рекомендациям):

Развернуть/Свернуть
User-agent: *
Disallow: /admin.php
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /index.php?newposts/
Disallow: /index.php?statistics.html
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?subaction=newposts
Disallow: /index.php?index.php?do=lastcomments
Disallow: /index.php?do=feedback
Disallow: /index.php?do=register
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /page/10/
Disallow: /page/2/
Disallow: /page/3/
Disallow: /page/4/
Disallow: /page/5/
Disallow: /page/6/
Disallow: /page/7/
Disallow: /page/8/
Disallow: /page/9/
Disallow: */page/10/
Disallow: */page/2/
Disallow: */page/3/
Disallow: */page/4/
Disallow: */page/5/
Disallow: */page/6/
Disallow: */page/7/
Disallow: */page/8/
Disallow: */page/9/
Disallow: /novosti/page/2/
Disallow: /novosti/page/3/
Disallow: /novosti/page/4/
Disallow: /novosti/page/5/
Disallow: /novosti/page/6/
Disallow: /novosti/page/7/
Disallow: /novosti/page/8/
Disallow: /novosti/page/9/
Disallow: */novosti/page/2/
Disallow: */novosti/page/3/
Disallow: */novosti/page/4/
Disallow: */novosti/page/5/
Disallow: */novosti/page/6/
Disallow: */novosti/page/7/
Disallow: */novosti/page/8/
Disallow: */novosti/page/9/
Host: www.androidsofts.net
Sitemap: [url="http://androidsofts.net/sitemap.xml"]http://androidsofts.net/sitemap.xml[/url]


Сообщение отредактировал falken - 13.2.2013, 13:01
Причина редактирования: +spoiler


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Aleksandrometr
Aleksandrometr
сообщение 13.2.2013, 12:27; Ответить: Aleksandrometr
Сообщение #2


I ♥ BassBoosted
*****

Группа: Active User
Сообщений: 544
Регистрация: 23.8.2012
Поблагодарили: 203 раза
Репутация:   77  


Стесняюсь спросить, для чего закрывать каждую страницу?

Можно же сделать так:
Disallow: /page/*/
Disallow: */page/*/
Disallow: /novosti/page/*/
Disallow: */novosti/page/*/


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Raptor-Ice
Raptor-Ice
сообщение 13.2.2013, 12:59; Ответить: Raptor-Ice
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 666
Регистрация: 15.11.2010
Из: Украина
Поблагодарили: 129 раз
Репутация:   39  


Недавно тоже столкнулся с этим вопросом. Вот что у меня получилось, толком не сравнивал, но на первый глаз вижу отличия с моим, может что новое для себя увидите. Ловите:

Развернуть/Свернуть

User-Agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /newposts/
Disallow: /*userinfo
Disallow: /*page/
Disallow: /page/
Disallow: /*page/*
Disallow: /201*/
Disallow: /engine/download.php
Disallow: /*download.php?id=
Disallow: /engine/go.php
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=rules
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /showlinks.php
Disallow: /*rrs
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts

Sitemap: http://сайт.ру/sitemap.xml
Host: сайт.ру


Уже месяца 3 такой , все ок с индексом. Правда у меня сайты более информационные чем новостные.


--------------------
Адаптивные шаблоны, темы для популярных движков, мирового уровня - themeforest .
Помогу с покупкой, установкой, настройкой и т.д.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
M25
M25
сообщение 13.2.2013, 13:04; Ответить: M25
Сообщение #4


Поражены твоей неудачей.
*****

Группа: Active User
Сообщений: 951
Регистрация: 23.11.2009
Из: Украина
Поблагодарили: 264 раза
Репутация:   44  


Самый главный
(jorjo22 @ 13.2.2013, 9:57) *
дельный совет по редактированию robot.txt

- это переименовать его в robots.txt


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
jorjo22
jorjo22
Topic Starter сообщение 13.2.2013, 19:41; Ответить: jorjo22
Сообщение #5


Бывалый
****


Группа: User
Сообщений: 280
Регистрация: 30.4.2012
Из: Киев
Поблагодарили: 16 раз
Репутация:   3  


Еще вопросик один есть - посмотрел в гугл вебмастере и обнаружил парочку дублей
Как корректно дубли - дайте один пример
Оч нуно. Заранее благодарю
вот пример:

Aleksandrometr,
По Вашим рекомендациям сделал изменения и получилось такое:

User-agent: *
Disallow: /admin.php
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /index.php?newposts/
Disallow: /index.php?statistics.html
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?subaction=newposts
Disallow: /index.php?index.php?do=lastcomments
Disallow: /index.php?do=feedback
Disallow: /index.php?do=register
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /#fragment-2
Disallow: /#fragment-3
Disallow: /#fragment-4
Disallow: /#fragment-5
Disallow: /*rss
Disallow: /page/*/
Disallow: */page/*/
Disallow: /novosti/page/*/
Disallow: */novosti/page/*/
Host: www.androidsofts.net
Sitemap: http://androidsofts.net/sitemap.xml

Еше один вопросик есть - как заставить ротоботов переиндксировать сайт с поправокой на запреты которые стоят в файлике robots.txt

jorjo22,
решил проверить средствами яндекса индексируется ли урл с картой сайта и мне написало http://www.androidsofts.net/sitemap.xml запрещен правилом /

В чем мой прокол?

Сообщение отредактировал jorjo22 - 13.2.2013, 19:42
Прикрепленные изображения
Прикрепленное изображение
 


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
jorjo22
jorjo22
Topic Starter сообщение 17.2.2013, 20:55; Ответить: jorjo22
Сообщение #6


Бывалый
****


Группа: User
Сообщений: 280
Регистрация: 30.4.2012
Из: Киев
Поблагодарили: 16 раз
Репутация:   3  


Выношу огромное спасибо Aleksandrometr за помощь в настройке robots.txt для моего сайта. Все сделал очень быстро и качественно.
Всем советую.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dlepro_com
dlepro_com
сообщение 17.2.2013, 23:31; Ответить: dlepro_com
Сообщение #7


Новичок
*


Группа: User
Сообщений: 36
Регистрация: 26.3.2011
Из: Рязань
Поблагодарили: 8 раз
Репутация:   2  


УЖАС какой роботс..
User-agent: *
Disallow: /admin.php
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /index.php?newposts/
Disallow: /index.php?statistics.html
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?subaction=newposts
Disallow: /index.php?index.php?do=lastcomments
Disallow: /index.php?do=feedback
Disallow: /index.php?do=register
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /#fragment-2
Disallow: /#fragment-3
Disallow: /#fragment-4
Disallow: /#fragment-5
Disallow: /*rss
Disallow: /page/*/
Disallow: */page/*/
Disallow: /novosti/page/*/
Disallow: */novosti/page/*/
Host: www.androidsofts.net
Sitemap: http://androidsofts.net/sitemap.xml


Начнём:
Disallow: /admin.php

зачем показывать админку?

лечим: убираем эту опасную строку с robots и - открыть файл /engine/skins/default.skin.php
Найти:
<head>


Добавить ниже:
<meta name="robots" content="noindex,nofollow" />


далее ужас:
Disallow: /page/*/
Disallow: */page/*/
Disallow: /novosti/page/*/
Disallow: */novosti/page/*/


лечим:
Disallow: /*page/


и очень много ужаса:
Disallow: /index.php?newposts/
Disallow: /index.php?statistics.html
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?subaction=newposts
Disallow: /index.php?index.php?do=lastcomments
Disallow: /index.php?do=feedback
Disallow: /index.php?do=register
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=search


лечим:
Disallow: /*?*


строки с Disallow: /#..... вообще ниочём, а вот добавить нужно:
Disallow: /2012/
Disallow: /2013/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /engine/ajax/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*print

первые две строки, зависят от лет публикаций на вашем сайте лучше добавить все года.

и по вашему усмотрению:
Disallow: /tags/



Итого правильный по моему мнению:
User-agent: *
Disallow: /*print
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /tags/
Disallow: /user/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /*page/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /engine/ajax/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /*?*

Sitemap: http://сайт.ru/sitemap.xml
Host: сайт.ru


Сообщение отредактировал dlepro_com - 17.2.2013, 23:33
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Регистрация Вашего сайта (профиля,DLE сайты,подписи на форумах,постинг Тиц 10> , ПР 1>)
278 kaartes 102593 Сегодня, 10:55
автор: kukla
Открытая тема (нет новых ответов) Адаптивная вёрстка и натяжка на Wordpress, DLE, Joomla и др. Создание мобильных версий.
Хороший код с оптимизацией по скорости. Сайты и лендинги "под ключ
15 Nell 1119 Вчера, 23:36
автор: Nell
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
142 contex1 65099 5.12.2017, 12:13
автор: contex1
Открытая тема (нет новых ответов) Требуется так сказать оптимизация шаблона DLE
5 Deadman_n 411 2.12.2017, 13:24
автор: Deadman_n
Открытая тема (нет новых ответов) Перенос сайта с DLE на WordPress
3 mdobyshev 865 30.11.2017, 7:29
автор: Nell


 



RSS Текстовая версия Сейчас: 14.12.2017, 12:45
Дизайн