X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Настройка файлов «Robots.txt» и «.htaccess» на Joomla
BTMG
BTMG
Topic Starter сообщение 27.6.2012, 18:48; Ответить: BTMG
Сообщение #1


Участник
***

Группа: User
Сообщений: 230
Регистрация: 22.6.2012
Поблагодарили: 45 раз
Репутация:   13  


Здравствуйте дорогие маулчане! Недавно я сидел, читал золотые темы этого форума и мне захотелось тоже что-то написать. Ну, в общем, я для разминки написал небольшую статейку для новичков и если она понравится хотя бы нескольким пользователям попробую написать еще, но уже более качественно и интересно. Так что пока строго не судите...

Настройка файлов «Robots.txt» и «.htaccess» на Joomla.

Допустим вы сделали хороший сайт, купили хостинг с доменом и, наконец, выложили свое творение во всемирную сеть. Вы смотрите на свой сайт и думаете: «А что делать дальше?». Самая распространенная ошибка новичков состоит в том, что они сразу бросаются спамить ссылку своего сайта для ускорения индексации хотя сайт еще к ней не готов. Вы спросите: «Почему сайт не готов к индексации?», а потому что очень часто новички забывают или просто не знают о том, что сразу после создания сайта надо настроить такие файлы как Robots.txt и .htaccess, которые помогут поисковым роботам правильно проиндексировать сайт. Ну. а теперь я расскажу вам, как сделать это на CMS Joomla.


Настройка Robots.txt

Для начала вам надо найти в папке с вашим сайтом файл Robots.txt и открыть его. Так он настроен по стандарту:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Вообще в Joomla данный файл настроен нормально, но для лучшего эффекта в нем надо кое-что подправить. Первым делом надо убрать строку «Disallow: /images/» иначе сайт не будет участвовать в поиске картинок Гугла и Яндекса, что заметно повлияет на посещаемость. Еще надо добавить правило User-agent: Yandex для того, чтобы мы могли задать директиву Host, которая в свою очередь определит основное зеркало сайта для Яндекса , также надо указать путь к файлу Sitemap. В итоге, после всех изменений файл Robots.txt будет выглядеть так:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: sitename.ru
Sitemap: http://sitename.ru/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1

Внимание! Не забудьте поменять в коде «sitename.ru» на ваш сайт.

По моему мнению, это оптимальные настройки для файла Robots.txt, но при желании вы можете добавить в него что-то свое. Пожалуй, с этим мы закончим, и перейдем к следующему шагу.


Настройка файла .htaccess

Этот файл нам нужен для того, чтобы склеить домены с www и без при помощи 301 редиректа. Скорее всего, у вас возник вопрос «Зачем это надо?», сейчас я попробую на него ответить. Всем известно, что на любой сайт можно попасть, набирая в адресной строке его адрес с www и без www. В обоих случаях вы разумеется, попадете на один и тот же сайт поэтому многие думают, что нет разницы между «www.sitename.ru » и «sitename.ru», но на самом деле поисковики воспринимают их как два разных сайта, отсюда и выходят все проблемы. А именно - все внешние ссылки на ваш сайт станут делиться на 2 группы (с www и без) получается, что поисковик будет учитывать только половину ссылок, что в свою очередь приведет к понижению позиций вашего сайта в выдаче. Поэтому нам надо заранее выбрать главное зеркало сайта, чтобы не возникло вышеприведенных проблем. Получится, что если мы поставим редирект с «sayt.ru» на «www. sitename.ru » то если кто-то поставит ссылку на «sitename.ru», она будет засчитана как «www.sitename.ru». Надеюсь, теперь вы поняли, зачем нам все это надо.

Файл .htaccess является скрытым, поэтому для того чтобы его увидеть вам надо на хостинге при входе в «Диспетчер файлов» отметить галочкой «Отображать скрытые файлы». Тогда он появится в списке файлов вашего сайта, по стандартным настройкам Джумлы этот файл не содержит никакого текста. Откройте его через редактор и впишите туда этот код:

Для редиректа с www на без www:
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.sitename\.ru$ [NC]
RewriteRule ^(.*)$ http://sitename.ru/$1 [R=301,L]

Для редиректа с без www на www:
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^sitename\.ru$ [NC]
RewriteRule ^(.*)$ http://www.sitename.ru/$1 [R=301,L]

Внимание! Не забудьте поменять в коде «sitename.ru» на ваш сайт. Также значение директивы «Host: sitename.ru» должно совпадать с выбранным вами главным зеркалом.

Кой адрес делать основным а какой зеркалом разницы нет, что с www что без, эффект будет одинаковый. Так что ставьте, как вам больше нравится. Получилось или нет, вы можете проверить следующим способом: если вы ставили редирект на «www.sitename.ru» попробуйте ввести в адресной строке «sitename.ru», если адрес автоматически поменяется на «www.sitename.ru» значит, все работает.

Поздравляю, после проведения указанных выше настроек вы можете больше не волноваться за индексацию вашего сайта.

Сообщение отредактировал BTMG - 27.6.2012, 18:49


Поблагодарили: (3)
4
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ekvador
ekvador
сообщение 2.7.2012, 21:42; Ответить: ekvador
Сообщение #2


Участник
***


Группа: User
Сообщений: 136
Регистрация: 12.6.2011
Поблагодарили: 44 раза
Репутация:   8  


Как по мне, в роботс нужно еще добавить:
Развернуть/Свернуть
Disallow: /*?
Disallow: /search
Disallow: /index.php
Disallow: /index.html
Disallow: /404
Disallow: /*=atom
Disallow: /*=rss

в htaccess еще добавить код для редиректа с index:

Развернуть/Свернуть
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]


Сообщение отредактировал ekvador - 2.7.2012, 21:47


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
EvilPanda
EvilPanda
сообщение 3.7.2012, 10:37; Ответить: EvilPanda
Сообщение #3


Участник
***

Группа: User
Сообщений: 118
Регистрация: 5.6.2012
Из: Как и все панды...
Поблагодарили: 27 раз
Репутация:   1  


Джумлу не очень люблю и всех нюансов не знал. Узнал про /images/ хоть сейчас и не нужно, но все равно полезно, спасибо, даем старт smile.gif


--------------------
Эксперт - это человек, который перестал мыслить, потому что он знает.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lostprophet
lostprophet
сообщение 3.7.2012, 10:48; Ответить: lostprophet
Сообщение #4


Топовый постер
*******

Группа: Super Moderator
Сообщений: 2567
Регистрация: 18.11.2008
Из: Ростов-на-Дону
Поблагодарили: 3172 раза
Репутация:   292  


(BTMG @ 27.6.2012, 18:48) *
Первым делом надо убрать строку «Disallow: /images/» иначе сайт не будет участвовать в поиске картинок Гугла и Яндекса, что заметно повлияет на посещаемость.

Внесу свои 5 копеек.
Всю папку открывать не стоит, ибо в индекс попадет куча служебной графики, обойтись же можно правилом типа

Allow: /images/stories*
Disallow: /images/

Вместо "stories*" можно использовать любой путь до папки с изображениями, которые непосредственно вставляются в материалы Вашего сайта.


(BTMG @ 27.6.2012, 18:48) *
по стандартным настройкам Джумлы этот файл не содержит никакого текста.

O_o
А вот с этого места поподробнее.
Чистый .htaccess 1.5.25
Развернуть/Свернуть
##
# @version $Id: htaccess.txt 21064 2011-04-03 22:12:19Z dextercowley $
# @package Joomla
# @copyright Copyright © 2005 - 2010 Open Source Matters. All rights reserved.
# @license http://www.gnu.org/copyleft/gpl.html GNU/GPL
# Joomla! is Free Software
##


#####################################################
# READ THIS COMPLETELY IF YOU CHOOSE TO USE THIS FILE
#
# The line just below this section: 'Options +FollowSymLinks' may cause problems
# with some server configurations. It is required for use of mod_rewrite, but may already
# be set by your server administrator in a way that dissallows changing it in
# your .htaccess file. If using it causes your server to error out, comment it out (add # to
# beginning of line), reload your site in your browser and test your sef url's. If they work,
# it has been set by your server administrator and you do not need it set here.
#
#####################################################

## Can be commented out if causes errors, see notes above.
Options +FollowSymLinks

#
# mod_rewrite in use

RewriteEngine On

########## Begin - Rewrite rules to block out some common exploits
## If you experience problems on your site block out the operations listed below
## This attempts to block the most common type of exploit `attempts` to Joomla!
#
## Deny access to extension xml files (uncomment out to activate)
#<Files ~ "\.xml$">
#Order allow,deny
#Deny from all
#Satisfy all
#</Files>
## End of deny access to extension xml files
# Block out any script trying to set a mosConfig value through the URL
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode data within the URL
RewriteCond %{QUERY_STRING} base64_encode[^(]*\([^)]*\) [OR]
# Block out any script that includes a <script> tag in URL
RewriteCond %{QUERY_STRING} (<|%3C)([^s]*s)+cript.*(>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Return 403 Forbidden header and show the content of the root homepage
RewriteRule .* index.php [F]
#
########## End - Rewrite rules to block out some common exploits


########## Begin - Custom redirects
#
# If you need to redirect some pages, or set a canonical non-www to
# www redirect (or vice versa), place that code here. Ensure those
# redirects use the correct RewriteRule syntax and the [R=301,L] flags.
#
########## End - Custom redirects


# Uncomment following line if your webserver's URL
# is not directly related to physical file paths.
# Update Your Joomla! Directory (just / for root)

# RewriteBase /


########## Begin - Joomla! core SEF Section
#
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
#
# If the requested path and file is not /index.php and the request
# has not already been internally rewritten to the index.php script
RewriteCond %{REQUEST_URI} !^/index\.php
# and the request is for root, or for an extensionless URL, or the
# requested URL ends with one of the listed extensions
RewriteCond %{REQUEST_URI} (/[^.]*|\.(php|html?|feed|pdf|raw))$ [NC]
# and the requested path and file doesn't directly match a physical file
RewriteCond %{REQUEST_FILENAME} !-f
# and the requested path and file doesn't directly match a physical folder
RewriteCond %{REQUEST_FILENAME} !-d
# internally rewrite the request to the index.php script
RewriteRule .* index.php [L]
#
########## End - Joomla! core SEF Section


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BTMG
BTMG
Topic Starter сообщение 3.7.2012, 17:53; Ответить: BTMG
Сообщение #5


Участник
***

Группа: User
Сообщений: 230
Регистрация: 22.6.2012
Поблагодарили: 45 раз
Репутация:   13  


ekvador и lostprophet, большое спасибо за внесенные вами поправки. Да, оказалось, что в моей статье есть недочеты, поэтому если кто знает еще, что-то полезное на эту тему пишите в этом топике. Вскоре постараюсь написать более полезную, точную и интересную статью.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
eLearner
eLearner
сообщение 3.7.2012, 18:53; Ответить: eLearner
Сообщение #6


Участник
***

Группа: User
Сообщений: 164
Регистрация: 14.6.2011
Поблагодарили: 56 раз
Репутация:   8  


По-моему, в стандартный джумловский .htaccess (1.5) стоит добавить:
##### Start ?tp=1 prevention ######
RewriteCond %{QUERY_STRING} =tp=1
RewriteRule ^(.*)$ index.php [F,L]
##### End ?tp=1 prevention ######

чтобы отключить хак с ?tp=1. В более поздних версиях он отключен по умолчанию в настройках шаблона.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rubroker
rubroker
сообщение 3.7.2012, 20:35; Ответить: rubroker
Сообщение #7


Новичок
*

Группа: User
Сообщений: 37
Регистрация: 2.8.2010
Поблагодарили: 13 раз
Репутация:   0  


Попробуй набрать, например, ?tp=eLearner

Сообщение отредактировал lostprophet - 3.7.2012, 20:40
Причина редактирования: избыточное цитирование


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
eLearner
eLearner
сообщение 4.7.2012, 2:57; Ответить: eLearner
Сообщение #8


Участник
***

Группа: User
Сообщений: 164
Регистрация: 14.6.2011
Поблагодарили: 56 раз
Репутация:   8  


Чтобы работало не только с единичкой, можно использовать:
##### Start ?tp=1 prevention ######
RewriteCond %{QUERY_STRING} tp(=.*)
RewriteRule ^(.*)$ index.php [F,L]
##### End ?tp=1 prevention ######


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
topsmiling
topsmiling
сообщение 4.7.2012, 11:07; Ответить: topsmiling
Сообщение #9


ёёёёёёёёё ӭ
******

Группа: Active User
Сообщений: 1298
Регистрация: 6.3.2011
Из: ★звёзд★
Поблагодарили: 359 раз
Репутация:   97  


Я еще обычно закрываю от индекса страницы из навигации по страницам. В категориях ладно, еще можно оставить, а вот с главной страницы я бы закрыл...
Disallow: /*?start=


wink.gif

Сообщение отредактировал topsmiling - 4.7.2012, 11:08


--------------------
.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Не получается зайти в Joomla от имени админа
8 Bel_Ami 404 Сегодня, 0:56
автор: anchous
Открытая тема (нет новых ответов) Адаптивная вёрстка и натяжка на Wordpress, DLE, Joomla и др. Создание мобильных версий.
Хороший код с оптимизацией по скорости. Сайты и лендинги "под ключ
15 Nell 1162 13.12.2017, 23:36
автор: Nell
Горячая тема (нет новых ответов) Вёрстка, натяжка на WordPress, Joomla, качественно, доступно
53 WhiteIce 23794 12.12.2017, 19:41
автор: WhiteIce
Горячая тема (нет новых ответов) Разработка сайтов Joomla Wordpress Opencart
Разработка, верстка, оптимизация веб сайтов.
48 WoWeb 7383 12.12.2017, 13:37
автор: serg5777
Открытая тема (нет новых ответов) Настройка и ведение ваших кампаний по контекстной рекламе Яндекс Директ и Гугл Эдвордс
2 AvramLincoln 490 11.12.2017, 13:18
автор: AvramLincoln


 



RSS Текстовая версия Сейчас: 16.12.2017, 11:37
Дизайн