X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt и .htaccess, Оцените и помогите исправить
san85ua
san85ua
Topic Starter сообщение 3.9.2011, 20:59; Ответить: san85ua
Сообщение #1


Новичок
*

Группа: User
Сообщений: 22
Регистрация: 22.6.2011
Из: Манхеттен
Поблагодарили: 1 раз
Репутация:   1  


Здравствуйте! Использую движок DLE.
Провожу оптимизацию сайта. Robots.txt еще куда ни шло... Там в большинстве - понятно.

А вот в .htaccess не особо разбираюсь! facepalm.gif Помогите пожалуйста.


Вот .htaccess:
DirectoryIndex index.php
RewriteEngine On
Options +Indexes
Options +FollowSymLinks

# Редиректы
RewriteRule ^page/(.*)$ index.php?cstart=$1 [L]

# Ддя HTML Карты сайта
RewriteRule ^sitemap(/?)+$ /?do=sitemap [L]

# Редирект для категорий (чтобы в конце URL был /)
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !-f
RewriteCond %{REQUEST_URI} !/$
RewriteCond %{REQUEST_URI} !.html$
RewriteCond %{REQUEST_URI} !.xml$
RewriteRule (.+) $1/ [R=301,L]

# Редирект c без www на с www
RewriteCond %{HTTP_HOST} ^site\.ru$ [NC]
RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]

# Карта сайта пользователей
RewriteRule ^yasitemap_users(/?)+$ index.php?do=yasitemap_users
RewriteRule ^yasitemap_users/page(.*)/ index.php?cstart=$1&do=yasitemap_users

# Сам пост
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html(/?)+$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$4&news_page=$2&cstart=$3 [L]
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$2 [L]
RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$2&newsid=$3 [L]
RewriteRule ^([^.]+)/([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2 [L]

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$1&cstart=$2 [L]
RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&news_page=$1 [L]
RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$1&newsid=$2 [L]
RewriteRule ^([0-9]+)-(.*).html(/?)+$ index.php?newsid=$1 [L]

# За день
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]
# За весь месяц
RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]
# Вывод за весь год
RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]
RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]
# вывод отдельному тегу
RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]
RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]
# вывод для отдельного юзера
RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]
RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]
# вывод всех последних новостей
RewriteRule ^lastnews/(/?)+$ index.php?do=lastnews [L]
RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]
# вывод в виде каталога
RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]
# вывод непрочитанных статей
RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]
RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]
# Статистические страницы
RewriteRule ^static/(.*).html(/?)+$ index.php?do=static&page=$1 [L]
# вывод избранных статей
RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]
RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]

RewriteRule ^rules.html$ index.php?do=rules [L]
RewriteRule ^statistics.html$ index.php?do=stats [L]
RewriteRule ^addnews.html$ index.php?do=addnews [L]
RewriteRule ^rss.xml$ engine/rss.php [L]
RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]

RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]
RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]
RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1 [L]
RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^/]+).html$ index.php?do=static&page=$1 [L]


Вот вооооообще не могу понять, что например это и откуда оно взялось - в родном .htaccess который идёт в движке DLE такого нет:

# Карта сайта пользователей
RewriteRule ^yasitemap_users(/?)+$ index.php?do=yasitemap_users
RewriteRule ^yasitemap_users/page(.*)/ index.php?cstart=$1&do=yasitemap_users

Кто-то может объяснить?



По воводу Robots.txt - верно ли составлен???

вот сам робот:
User-agent: *
Disallow: /*print
Disallow: /*rss.xml
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /tags/
Disallow: /page/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /autobackup.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /addnews.html

Sitemap: http://www.site.ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*rss.xml
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /tags/
Disallow: /page/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /autobackup.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /addnews.html

Sitemap: http://www.site.ru/sitemap.xml
Host: www.site.ru


Заранее спасибо! rolleyes.gif
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sickboy
Sickboy
сообщение 3.9.2011, 23:10; Ответить: Sickboy
Сообщение #2


Эффективное SEO
*****

Группа: Active User
Сообщений: 900
Регистрация: 18.11.2010
Из: Интернета
Поблагодарили: 624 раза
Репутация:   98  


А не проще ли вот это:

Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments

Прописать вот так:

Disallow: /*?*

?)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Neadekvat
Neadekvat
сообщение 3.9.2011, 23:37; Ответить: Neadekvat
Сообщение #3


Новичок
*

Группа: Viewer
Сообщений: 10
Регистрация: 2.9.2011
Поблагодарили: 3 раза
Репутация:   0  


Sickboy, боты иногда тупят по этому в генераторах робот.тхт все так подробно.
ТС, я вообще все страницы постоянно в робот.тхт прописываю. В этом лучше любого человека может посоветовать сам бот. То есть регайтесь в яндексе, гугле там есть разделы для веб мастеров где вы и сможете посмотреть если он нормально видит ваш сайт. Так что лучше поисковика в этом помогает только сам поисковик. Мне лично на первый взгляд робот кажется норма,а вот с хитачес точно не смогу помочь)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
san85ua
san85ua
Topic Starter сообщение 4.9.2011, 15:29; Ответить: san85ua
Сообщение #4


Новичок
*

Группа: User
Сообщений: 22
Регистрация: 22.6.2011
Из: Манхеттен
Поблагодарили: 1 раз
Репутация:   1  


Ну а хитачес - кто же с ним поможет? ))
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LihKo
LihKo
сообщение 4.9.2011, 20:04; Ответить: LihKo
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 594
Регистрация: 12.5.2009
Из: NN
Поблагодарили: 163 раза
Репутация:   36  


Для .htaccess правильнее будет так(даю начало):
# запрет доступа к конфигам
<Files ~ "\.(inc|conf|cfg)$">
deny from all
</Files>
# запрет редиректа
<FilesMatch "robots.txt$">
RewriteEngine off
</FilesMatch>

RewriteEngine on
DirectoryIndex index.php
Options -Indexes
Options +FollowSymlinks

# запрет доступа к файлу
RewriteRule ^.htaccess$ - [F]

# Редирект домена на www
RewriteCond %{HTTP_HOST} !^www.site.ru$ [NC]
RewriteRule ^(.*)$ http://www.site.ru/$1 [L,R=301]


Для robots.txt.
1. НЕ прописывайте 2_ой sitemap(будет ошибка в ЯВМ)
2. Уберите лишние пустые строки.
Пример:
User-agent: Yandex
Disallow: /*print
---skip---
Disallow: /addnews.html

User-agent: *
Disallow: /*print
---skip---
Disallow: /addnews.html
Host: www.site.ru

Sitemap: http://www.site.ru/sitemap.xml


--------------------
В реальности, не все так, как кажется очевидным ...
@ Shell-init: permission denied
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47535 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 514 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) Проблема с 301 редиректом в htaccess
не срабатывает с (без www) на www
14 danc1r0k 2004 2.11.2017, 14:44
автор: vadosseo
Открытая тема (нет новых ответов) Редирект в ModX через .htaccess коряво работает
9 kstnews 701 15.10.2017, 21:12
автор: x64
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1194 26.9.2017, 13:16
автор: kstnews


 



RSS Текстовая версия Сейчас: 18.12.2017, 18:54
Дизайн