X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Robots.txt Dle Версия Demo > Под ver 10.4, Плюс ещё вопросы по движку
docdie
docdie
Topic Starter сообщение 23.8.2015, 23:00; Ответить: docdie
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 288
Регистрация: 14.6.2012
Из: России
Поблагодарили: 41 раз
Репутация:   4  


Вечер добрый!

Подскажите полноценный, качественный, полный Robots.txt под версию DLE 10.4 DEMO.
Чтобы не было дубликатов, чтобы никакого повторения контента не было..

Дополнительные вопросы: Нужно ли что то ещё дописывать в htaccess файл версии DLE 10.4, чтобы тоже исключить дубли и всевозможные проблемы ?

Конечный вопрос: Demo версия движка не создаёт внешних ссылок на сайте/страницах/статических новостях ? Скрытых ссылок не будет ?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
phoenixaa
phoenixaa
сообщение 24.8.2015, 2:09; Ответить: phoenixaa
Сообщение #2


Участник
***

Группа: User
Сообщений: 194
Регистрация: 18.7.2013
Из: Брест
Поблагодарили: 36 раз
Репутация:   7  


Так возмите какой-нибудь видеокурс по установке и настройке ДЛЕ (Например, такой nnm-club._me/forum/viewtopic.php?t=434637). Их же масса в инете. И настрайвайте под себя. Для продвинутых - можно почитать блог Алаева на эту тему alaev._info/blog/post/3900. Только внедрять такие вещи нужно акуратно... :D , а то чего-нибудь плохое может случиться... :facepalm:

Сообщение отредактировал phoenixaa - 24.8.2015, 2:10
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
docdie
docdie
Topic Starter сообщение 24.8.2015, 2:16; Ответить: docdie
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 288
Регистрация: 14.6.2012
Из: России
Поблагодарили: 41 раз
Репутация:   4  


phoenixaa,
Для внимательности: Версия DEMO, без редактирования кода файлов движка.
Информация там устаревшая. Нужна актуальная информация под DLE 10.4 и желательно под DEMO, там явно свои нюансы.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
phoenixaa
phoenixaa
сообщение 24.8.2015, 2:45; Ответить: phoenixaa
Сообщение #4


Участник
***

Группа: User
Сообщений: 194
Регистрация: 18.7.2013
Из: Брест
Поблагодарили: 36 раз
Репутация:   7  


Если движок не трогать, то возьмите курс 2011 года - этого достаточно, чтобы Robots.txt настроить. Он не менялся последних 5 лет и ничего нового здесь не требуется. В 2015 никто про это писать не станет - давно все извесно и разницы для Robots.txt 9.6 или 10.4 нет.
У меня у самого ДЛЕ 10.4 все работает, так что могу предложить как образец:
Развернуть/Свернуть
User-agent: *
Disallow: /*?*
Disallow: /*print
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/*
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=search&mode=advanced
Disallow: /engine/modules/antibot/antibot.php
Disallow: /pnews/
Allow: /engine/classes/min/index.php?charset=utf-8&g=general&15
Host: site.ru
Sitemap: http://site.ru/sitemap.xml


Забыл написать вы неправильно сформулировали вопрос. Нужно не Robots.txt а файл .htaccess

Там все редиректы и т. д.



Развернуть/Свернуть
Код
AddDefaultCharset utf-8
DirectoryIndex index.php

RewriteEngine On
Options +Indexes
Options +FollowSymLinks
# Редирект для категорий (чтобы в конце URL был /)
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !-f
RewriteCond %{REQUEST_URI} !/$
RewriteCond %{REQUEST_URI} !.html$
RewriteCond %{REQUEST_URI} !.xml$
RewriteRule (.+) $1/ [R=301,L]


RewriteCond %{HTTP_HOST} !^site.ru$
RewriteRule (.*) http://site.ru/$1 [R=301,L]

# Редиректы
RewriteRule ^page/([0-9]+)(/?)$ index.php?cstart=$1 [L]

# Сам пост
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6&seourl=$6 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4&seourl=$4 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$4&news_page=$2&cstart=$3&seourl=$5&seocat=$1 [L]
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$3&news_page=$2&seourl=$4&seocat=$1 [L]
RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html$ engine/print.php?news_page=$2&newsid=$3&seourl=$4&seocat=$1 [L]
RewriteRule ^([^.]+)/([0-9]+)-(.*).html$ index.php?newsid=$2&seourl=$3&seocat=$1 [L]

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$3&news_page=$1&cstart=$2&seourl=$4 [L]
RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$2&news_page=$1&seourl=$3 [L]
RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html$ engine/print.php?news_page=$1&newsid=$2&seourl=$3 [L]
RewriteRule ^([0-9]+)-(.*).html$ index.php?newsid=$1&seourl=$2 [L]

# За день
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]
# За весь месяц
RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]
# Вывод за весь год
RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]
RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]
# вывод отдельному тегу
RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]
RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]
# поиск по доп полям
RewriteRule ^xfsearch/([^/]*)(/?)+$ index.php?do=xfsearch&xf=$1 [L]
RewriteRule ^xfsearch/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=xfsearch&xf=$1&cstart=$2 [L]
# вывод для отдельного юзера
RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]
RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]
# вывод всех последних новостей
RewriteRule ^lastnews(/?)+$ index.php?do=lastnews [L]
RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]
# вывод в виде каталога
RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]
# вывод непрочитанных статей
RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]
RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]
# вывод избранных статей
RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]
RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]

RewriteRule ^rules.html$ index.php?do=rules [L]
RewriteRule ^statistics.html$ index.php?do=stats [L]
RewriteRule ^addnews.html$ index.php?do=addnews [L]
RewriteRule ^rss.xml$ engine/rss.php [L]
RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]

RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]
RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]
RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1&seourl=$2 [L]
RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1&seourl=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^/]+).html$ index.php?do=static&page=$1&seourl=$1 [L]

# 301 редирект для страниц сайта

# Перенаправление домена с www на не-www
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.site\.ru$
RewriteRule (.*) http://site.ru/$1 [R=301,L]



# убираем из адреса главной страницы index.php
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://site.ru [R=301,L]

# Включаем кэш в браузерах посетителей
<ifModule mod_headers.c>
        
     # Все html и htm файлы будут храниться в кэше браузера один день
     <FilesMatch "\.(html|htm)$">
         Header set Cache-Control "max-age=43200"
     </FilesMatch>
    # Все css, javascript и текстовые файлы будут храниться в кэше браузера одну неделю
     <FilesMatch "\.(js|css|txt)$">
         Header set Cache-Control "max-age=604800"
    </FilesMatch>
    # Все флэш файлы и изображения будут храниться в кэше браузера один месяц
    <FilesMatch "\.(flv|swf|ico|gif|jpg|jpeg|png)$">
         Header set Cache-Control "max-age=2592000"
    </FilesMatch>
     # Отключаем кеширование php и других служебных файлов
     <FilesMatch "\.(pl|php|cgi|spl|scgi|fcgi)$">
        Header unset Cache-Control
    </FilesMatch>
</IfModule>




Должен выглядеть как-то так (.htaccess в корне сайта).
Удачи :)

Сообщение отредактировал phoenixaa - 24.8.2015, 2:50


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 24.8.2015, 11:22; Ответить: Risk
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 802
Регистрация: 5.7.2010
Из: Интернета
Поблагодарили: 146 раз
Репутация:   41  


для оптимальной и правильной настройке вашего сайта, я бы вам посоветовал бы изучить эту не большую статью
Цитата

я уверен, изучив ее, у вас навсегда отпадут вопросы такого рода, и вы сами сможете настраивать robots.txt для ЛЮБЫХ cms и не только.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
docdie
docdie
Topic Starter сообщение 24.8.2015, 11:46; Ответить: docdie
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 288
Регистрация: 14.6.2012
Из: России
Поблагодарили: 41 раз
Репутация:   4  


phoenixaa,
Если бы движок не менялся, Алаев бы каждые 6-12 месяцев не выпускал новые посты и не делал корректировки существующих мануалов под новую версию DLE.
Тот, что вы указали, по сути стандартный, нужно полное удаление статических страниц, Page на всех страницах и категориях и т.п. В общем закрыть все дубли без исключений, так как с одним проектом такая проблема произошла, повторить не охота, в google И yandex были около 30-35% дубликатов. Алаев предлагает много способов закрыть дубли и прочие проблемы посредством внося изменения в сам движок, но не в robots.txt, мне нужно учесть правки движка именно в самом файле robots.txt, так как demo версия закрыта от правки.

Risk,
Там отсутствует информация по тому или иному движку, стандартная информация по robots.txt везде есть. Эта страница не даст инфу по тому, как закрыть дубли, который создаёт движок сайта.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
phoenixaa
phoenixaa
сообщение 24.8.2015, 12:00; Ответить: phoenixaa
Сообщение #7


Участник
***

Группа: User
Сообщений: 194
Регистрация: 18.7.2013
Из: Брест
Поблагодарили: 36 раз
Репутация:   7  


docdie, на этом форуме люди задают конкретные вопросы и половина так и не получает ответов...
Если вы думаете, что в теме кто-то напишет идеально непосредственно под ваш проект, да еще не видя самого сайта, то я прямо безмерно завидую вашему оптимизму :lol:
Я вон просил подсказать по Universal Analytics - правильно написал код или неправильно? Никто так и не сказал...

Сообщение отредактировал phoenixaa - 24.8.2015, 12:02
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 24.8.2015, 12:07; Ответить: Risk
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 802
Регистрация: 5.7.2010
Из: Интернета
Поблагодарили: 146 раз
Репутация:   41  


Цитата(docdie @ 24.8.2015, 11:46) *
Risk,
Там отсутствует информация по тому или иному движку, стандартная информация по robots.txt везде есть. Эта страница не даст инфу по тому, как закрыть дубли, который создаёт движок сайта.

рассказываю информацию, "как найти дубли страниц"
1. заходите в ЯВМ
2. Переходите на страницу "странц в поиске"
3. Ищите дубли
4. Пишите роботс.тхт
данная методика подходит для любых CMS и сайтов (так же можно просто перейти в поиск яндекса и нажать кнопочку "искать ан сайте")
имеются отличия от готыв решений, а именно:
1. Собственный роботс без лишних и ненужных строк
2. У готовых роботсов отсутсвуют доп-ые все возможные модули, которые испольтзуете вы.
3. И не всегда готовый роботс будет правильным.

Минусов не наблюдаю.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
143 contex1 65198 Сегодня, 9:07
автор: contex1
Открытая тема (нет новых ответов) 16 площадок под размещение сквозных ссылок
Сайты: СМИ, финансы, авто, медицина, туризм, кулинария под сквозняки
9 inkon 1969 15.12.2017, 20:44
автор: inkon
Открытая тема (нет новых ответов) Продам сайт под развитие
Под будущий СДЛ, тематика бизнес, возраст 1 год
5 abafons 1243 15.12.2017, 14:12
автор: xeons
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыEdu-Money - партнерка под студентческий траф: 55% за новый заказ, 20% ребилл (сразу).
95 EduMoney 17528 15.12.2017, 12:48
автор: EduMoney
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыEssayPro.Money партнерка под студенческий траф 50%+20% комиссии
61 Mur4ikovsky 12111 14.12.2017, 21:00
автор: EssayPro


 



RSS Текстовая версия Сейчас: 17.12.2017, 10:20
Дизайн