X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

8 страниц V   1 2 3 4 5 6 7 8 >
Открыть тему
Тема закрыта
> Robots.txt для Dle. Делаем правильно. Да будет сайт проиндексирован., Посвящается всем, кто использует DLE
Nunkomm
Nunkomm
Topic Starter сообщение 10.7.2009, 19:14; Ответить: Nunkomm
Сообщение #1


Мизантропичный доктор
******

Группа: Active User
Сообщений: 1911
Регистрация: 11.4.2009
Из: Обратной стороны монитора
Поблагодарили: 993 раза
Репутация:   113  


В связи с большим количеством вопросов по правильной индексации сайтов на основе DLE, выкладываю правила для создания robots.txt для DLE.

Создание robotx.txt для dle.

Ситуация:
Яндекс индексирует страницы для печати (print:...) и, со временем, выбрасывает новости, для которых соответствуют страницы для печати.

Результат:
Со временем сайт в поисковом индексе представляет собой почти сплошное собрание страниц для печати.

Проблема:
Для бирж ссылок трудно продать ссылки с этих страниц.

Решение:
Запрещаем страницы для печати:
User-agent: *
Disallow: /*print

Ситуация:
Индексируются страницы /user/. Спамеры "толкают" страницы на их профили т.к. последние содержат внешние ссылки (спам).

Результат:
Передаются ненужные Вам веса спамерским ссылкам.

Решение:
Запрещаем /user/:
Disallow: /*print

Ситуация:
Индексируются страницы, не содержащие контент.

Результат:
Всё равно выпадут со временем, лишняя нагрузка на поискового робота, ненужные директивы.

Решение:
Запрещаем подобные директории:
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php


Ситуация:
Индексируются страницы вида: */index.php?do=*
Результат:
Никакой пользы для сайта не принесут.
Решение:
Запрещаем все такие страницы, а также страницу /index.php?subaction=newposts и /?do=lastcomments. Ну и статистику не мешало бы убрать (Disallow: /statistics.html):
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html

Не лишним будет напомнить, что нужно обязательно создавать карту сайта в админ панели.
Карта сайта будет находится по адресу: Ваш_сайт/sitemap.xml
Далее явно задаём местонахождение нашей карты сайта в robots.txt:
Sitemap: Ваш_сайт/sitemap.xml

Явно задаём хост.
Host: Ваш_сайт
Nota bene!: Если иметь много сайтов на одном аккаунте хостинга, на некоторых панелях хостинга (hsphere, directadmin) из-за отсутствия задания хоста может возникнуть склеивание всех сайтов в виде заркал для сайта, идущего первым по алфавиту. Поэтому хост берём за правило прописывать явно.
Nota bene 2!: Задаём хост, учитывая что:
# Ваш_сайт является главным зеркалом www.Ваш_сайт,
# тогда корректное использование директивы Host такое
User-Agent: *
Disallow:
Host: Ваш_сайт

Подводим итог и выводим общий вид универсального robots.txt для сайта на CMS DLE:
User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: Ваш_сайт
Sitemap: http://Ваш_сайт/sitemap.xml

PS: в зависимости от дефолтных папок, присутствующих в разных панелях хостинга (в частности, папка cgi-bin), а также папок, добавляемых по собственной необходимости, не забываем их вписывать.
Вставляйте в каждый из Ваших сайтов, не ленитесь и всё у Вас будет хорошо.

Сообщение отредактировал Nunkomm - 10.7.2009, 21:30


--------------------
Версия 2.0.101. Ещё злее, ещё мизантропичнее.
10
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Boxster
Boxster
сообщение 10.7.2009, 19:31; Ответить: Boxster
Сообщение #2


Устал уставать
*****

Группа: Active User
Сообщений: 714
Регистрация: 7.11.2008
Из: Неизвестность
Поблагодарили: 222 раза
Репутация:   41  


Поправь

Запрещаем /user/:
Disallow: /user/


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Nunkomm
Nunkomm
Topic Starter сообщение 10.7.2009, 19:33; Ответить: Nunkomm
Сообщение #3


Мизантропичный доктор
******

Группа: Active User
Сообщений: 1911
Регистрация: 11.4.2009
Из: Обратной стороны монитора
Поблагодарили: 993 раза
Репутация:   113  


(Boxster @ 10.7.2009, 18:31) *
Поправь

Спасибо, пропустил при составлении полного robots.txt. Поправлено.


--------------------
Версия 2.0.101. Ещё злее, ещё мизантропичнее.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GreyGhost
GreyGhost
сообщение 10.7.2009, 19:36; Ответить: GreyGhost
Сообщение #4


Завсегдатай
*****


Группа: Active User
Сообщений: 661
Регистрация: 17.3.2009
Поблагодарили: 112 раз
Репутация:   5  


с учетом что деректива Host изобретение яндекса, и другие боты её просто игнорируют
написание
User-agent: Yandex
Host: Ваш_сайт

чревато несуразностями
надо так
User-agent: Yandex
Disallow:
Host: Ваш_сайт

или так
Host: Ваш_сайт

кстати, Вы совсем забыли sitemap )
Sitemap: http://Ваш_сайт/sitemap.xml
Host: Ваш_сайт


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Nunkomm
Nunkomm
Topic Starter сообщение 10.7.2009, 19:43; Ответить: Nunkomm
Сообщение #5


Мизантропичный доктор
******

Группа: Active User
Сообщений: 1911
Регистрация: 11.4.2009
Из: Обратной стороны монитора
Поблагодарили: 993 раза
Репутация:   113  


кстати, Вы совсем забыли sitemap )
Sitemap: http://Ваш_сайт/sitemap.xml
Host: Ваш_сайт

[/quote]
Пропустил. Исправлено. Спасибо.


--------------------
Версия 2.0.101. Ещё злее, ещё мизантропичнее.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Boxster
Boxster
сообщение 10.7.2009, 19:44; Ответить: Boxster
Сообщение #6


Устал уставать
*****

Группа: Active User
Сообщений: 714
Регистрация: 7.11.2008
Из: Неизвестность
Поблагодарили: 222 раза
Репутация:   41  


Вот в одной из тем видел в таком виде запрет версий для печати: Disallow: /*/print*
Какой тогда полноценно отсеивает версии для печати?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Nunkomm
Nunkomm
Topic Starter сообщение 10.7.2009, 19:45; Ответить: Nunkomm
Сообщение #7


Мизантропичный доктор
******

Группа: Active User
Сообщений: 1911
Регистрация: 11.4.2009
Из: Обратной стороны монитора
Поблагодарили: 993 раза
Репутация:   113  


(Boxster @ 10.7.2009, 18:44) *
Вот в одной из тем видел в таком виде запрет версий для печати: Disallow: /*/print*
Какой тогда полноценно отсеивает версии для печати?

В этой rolleyes.gif


--------------------
Версия 2.0.101. Ещё злее, ещё мизантропичнее.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GreyGhost
GreyGhost
сообщение 10.7.2009, 19:49; Ответить: GreyGhost
Сообщение #8


Завсегдатай
*****


Группа: Active User
Сообщений: 661
Регистрация: 17.3.2009
Поблагодарили: 112 раз
Репутация:   5  


(Nunkomm @ 10.7.2009, 19:43) *

не, всё таки не въехал ))
убери
User-agent: Yandex

вообще
или для него проставь те же Disallow
пустой агент вреден, так как не известно как поведёт себя бот
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Boxster
Boxster
сообщение 10.7.2009, 19:49; Ответить: Boxster
Сообщение #9


Устал уставать
*****

Группа: Active User
Сообщений: 714
Регистрация: 7.11.2008
Из: Неизвестность
Поблагодарили: 222 раза
Репутация:   41  


Меня просто насторожила эта тема: _http://forum.searchengines.ru/showthread.php?t=233449
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Nunkomm
Nunkomm
Topic Starter сообщение 10.7.2009, 19:58; Ответить: Nunkomm
Сообщение #10


Мизантропичный доктор
******

Группа: Active User
Сообщений: 1911
Регистрация: 11.4.2009
Из: Обратной стороны монитора
Поблагодарили: 993 раза
Репутация:   113  


(GreyGhost @ 10.7.2009, 18:49) *
не, всё таки не въехал ))
убери
User-agent: Yandex

вообще
или для него проставь те же Disallow
пустой агент вреден, так как не известно как поведёт себя бот

Агент не пустой в случае с роботом Яндекса.
Ведёт робот себя адекватно. Проверено на своих сайтах.


--------------------
Версия 2.0.101. Ещё злее, ещё мизантропичнее.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
8 страниц V   1 2 3 4 5 6 7 8 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Посоветуйте тему WP! Новостной сайт
Нужна тема WP желательно рус и с ТП
3 aidos 379 Сегодня, 17:18
автор: Caterpillar
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыSE Ranking – новый сервис для проверки позиций сайтов в поисковиках
172 seranking 157761 Сегодня, 16:34
автор: One_on_One
Открытая тема (нет новых ответов) Как правильно сделать категории на сайте?
Хелппп!!!
5 norino 615 Сегодня, 16:28
автор: One_on_One
Открытая тема (нет новых ответов) Проги для редактирования style.css
14 minutkin 970 Сегодня, 16:01
автор: Nell
Открытая тема (нет новых ответов) Оцените сайт на профпригодность
помощь по сайту
1 kupec 232 Сегодня, 15:50
автор: Nell


 



RSS Текстовая версия Сейчас: 11.12.2017, 17:24
Дизайн