X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Robots.txt Dle Версия Demo > Под ver 10.4, Плюс ещё вопросы по движку
docdie
docdie
Topic Starter сообщение 23.8.2015, 23:00; Ответить: docdie
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 291
Регистрация: 14.6.2012
Из: России
Поблагодарили: 42 раза
Репутация:   4  


Вечер добрый!

Подскажите полноценный, качественный, полный Robots.txt под версию DLE 10.4 DEMO.
Чтобы не было дубликатов, чтобы никакого повторения контента не было..

Дополнительные вопросы: Нужно ли что то ещё дописывать в htaccess файл версии DLE 10.4, чтобы тоже исключить дубли и всевозможные проблемы ?

Конечный вопрос: Demo версия движка не создаёт внешних ссылок на сайте/страницах/статических новостях ? Скрытых ссылок не будет ?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
phoenixaa
phoenixaa
сообщение 24.8.2015, 2:09; Ответить: phoenixaa
Сообщение #2


Участник
***

Группа: User
Сообщений: 194
Регистрация: 18.7.2013
Из: Брест
Поблагодарили: 36 раз
Репутация:   7  


Так возмите какой-нибудь видеокурс по установке и настройке ДЛЕ (Например, такой nnm-club._me/forum/viewtopic.php?t=434637). Их же масса в инете. И настрайвайте под себя. Для продвинутых - можно почитать блог Алаева на эту тему alaev._info/blog/post/3900. Только внедрять такие вещи нужно акуратно... :D , а то чего-нибудь плохое может случиться... :facepalm:

Сообщение отредактировал phoenixaa - 24.8.2015, 2:10
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
docdie
docdie
Topic Starter сообщение 24.8.2015, 2:16; Ответить: docdie
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 291
Регистрация: 14.6.2012
Из: России
Поблагодарили: 42 раза
Репутация:   4  


phoenixaa,
Для внимательности: Версия DEMO, без редактирования кода файлов движка.
Информация там устаревшая. Нужна актуальная информация под DLE 10.4 и желательно под DEMO, там явно свои нюансы.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
phoenixaa
phoenixaa
сообщение 24.8.2015, 2:45; Ответить: phoenixaa
Сообщение #4


Участник
***

Группа: User
Сообщений: 194
Регистрация: 18.7.2013
Из: Брест
Поблагодарили: 36 раз
Репутация:   7  


Если движок не трогать, то возьмите курс 2011 года - этого достаточно, чтобы Robots.txt настроить. Он не менялся последних 5 лет и ничего нового здесь не требуется. В 2015 никто про это писать не станет - давно все извесно и разницы для Robots.txt 9.6 или 10.4 нет.
У меня у самого ДЛЕ 10.4 все работает, так что могу предложить как образец:
Развернуть/Свернуть
User-agent: *
Disallow: /*?*
Disallow: /*print
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/*
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=search&mode=advanced
Disallow: /engine/modules/antibot/antibot.php
Disallow: /pnews/
Allow: /engine/classes/min/index.php?charset=utf-8&g=general&15
Host: site.ru
Sitemap: http://site.ru/sitemap.xml


Забыл написать вы неправильно сформулировали вопрос. Нужно не Robots.txt а файл .htaccess

Там все редиректы и т. д.



Развернуть/Свернуть
Код
AddDefaultCharset utf-8
DirectoryIndex index.php

RewriteEngine On
Options +Indexes
Options +FollowSymLinks
# Редирект для категорий (чтобы в конце URL был /)
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !-f
RewriteCond %{REQUEST_URI} !/$
RewriteCond %{REQUEST_URI} !.html$
RewriteCond %{REQUEST_URI} !.xml$
RewriteRule (.+) $1/ [R=301,L]


RewriteCond %{HTTP_HOST} !^site.ru$
RewriteRule (.*) http://site.ru/$1 [R=301,L]

# Редиректы
RewriteRule ^page/([0-9]+)(/?)$ index.php?cstart=$1 [L]

# Сам пост
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6&seourl=$6 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4&seourl=$4 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$4&news_page=$2&cstart=$3&seourl=$5&seocat=$1 [L]
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$3&news_page=$2&seourl=$4&seocat=$1 [L]
RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html$ engine/print.php?news_page=$2&newsid=$3&seourl=$4&seocat=$1 [L]
RewriteRule ^([^.]+)/([0-9]+)-(.*).html$ index.php?newsid=$2&seourl=$3&seocat=$1 [L]

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$3&news_page=$1&cstart=$2&seourl=$4 [L]
RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$2&news_page=$1&seourl=$3 [L]
RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html$ engine/print.php?news_page=$1&newsid=$2&seourl=$3 [L]
RewriteRule ^([0-9]+)-(.*).html$ index.php?newsid=$1&seourl=$2 [L]

# За день
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]
# За весь месяц
RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]
# Вывод за весь год
RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]
RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]
# вывод отдельному тегу
RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]
RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]
# поиск по доп полям
RewriteRule ^xfsearch/([^/]*)(/?)+$ index.php?do=xfsearch&xf=$1 [L]
RewriteRule ^xfsearch/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=xfsearch&xf=$1&cstart=$2 [L]
# вывод для отдельного юзера
RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]
RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]
# вывод всех последних новостей
RewriteRule ^lastnews(/?)+$ index.php?do=lastnews [L]
RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]
# вывод в виде каталога
RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]
# вывод непрочитанных статей
RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]
RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]
# вывод избранных статей
RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]
RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]

RewriteRule ^rules.html$ index.php?do=rules [L]
RewriteRule ^statistics.html$ index.php?do=stats [L]
RewriteRule ^addnews.html$ index.php?do=addnews [L]
RewriteRule ^rss.xml$ engine/rss.php [L]
RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]

RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]
RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]
RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1&seourl=$2 [L]
RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1&seourl=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^/]+).html$ index.php?do=static&page=$1&seourl=$1 [L]

# 301 редирект для страниц сайта

# Перенаправление домена с www на не-www
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.site\.ru$
RewriteRule (.*) http://site.ru/$1 [R=301,L]



# убираем из адреса главной страницы index.php
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://site.ru [R=301,L]

# Включаем кэш в браузерах посетителей
<ifModule mod_headers.c>
        
     # Все html и htm файлы будут храниться в кэше браузера один день
     <FilesMatch "\.(html|htm)$">
         Header set Cache-Control "max-age=43200"
     </FilesMatch>
    # Все css, javascript и текстовые файлы будут храниться в кэше браузера одну неделю
     <FilesMatch "\.(js|css|txt)$">
         Header set Cache-Control "max-age=604800"
    </FilesMatch>
    # Все флэш файлы и изображения будут храниться в кэше браузера один месяц
    <FilesMatch "\.(flv|swf|ico|gif|jpg|jpeg|png)$">
         Header set Cache-Control "max-age=2592000"
    </FilesMatch>
     # Отключаем кеширование php и других служебных файлов
     <FilesMatch "\.(pl|php|cgi|spl|scgi|fcgi)$">
        Header unset Cache-Control
    </FilesMatch>
</IfModule>




Должен выглядеть как-то так (.htaccess в корне сайта).
Удачи :)

Сообщение отредактировал phoenixaa - 24.8.2015, 2:50


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 24.8.2015, 11:22; Ответить: Risk
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 804
Регистрация: 5.7.2010
Из: Интернета
Поблагодарили: 146 раз
Репутация:   41  


для оптимальной и правильной настройке вашего сайта, я бы вам посоветовал бы изучить эту не большую статью
Цитата

я уверен, изучив ее, у вас навсегда отпадут вопросы такого рода, и вы сами сможете настраивать robots.txt для ЛЮБЫХ cms и не только.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
docdie
docdie
Topic Starter сообщение 24.8.2015, 11:46; Ответить: docdie
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 291
Регистрация: 14.6.2012
Из: России
Поблагодарили: 42 раза
Репутация:   4  


phoenixaa,
Если бы движок не менялся, Алаев бы каждые 6-12 месяцев не выпускал новые посты и не делал корректировки существующих мануалов под новую версию DLE.
Тот, что вы указали, по сути стандартный, нужно полное удаление статических страниц, Page на всех страницах и категориях и т.п. В общем закрыть все дубли без исключений, так как с одним проектом такая проблема произошла, повторить не охота, в google И yandex были около 30-35% дубликатов. Алаев предлагает много способов закрыть дубли и прочие проблемы посредством внося изменения в сам движок, но не в robots.txt, мне нужно учесть правки движка именно в самом файле robots.txt, так как demo версия закрыта от правки.

Risk,
Там отсутствует информация по тому или иному движку, стандартная информация по robots.txt везде есть. Эта страница не даст инфу по тому, как закрыть дубли, который создаёт движок сайта.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
phoenixaa
phoenixaa
сообщение 24.8.2015, 12:00; Ответить: phoenixaa
Сообщение #7


Участник
***

Группа: User
Сообщений: 194
Регистрация: 18.7.2013
Из: Брест
Поблагодарили: 36 раз
Репутация:   7  


docdie, на этом форуме люди задают конкретные вопросы и половина так и не получает ответов...
Если вы думаете, что в теме кто-то напишет идеально непосредственно под ваш проект, да еще не видя самого сайта, то я прямо безмерно завидую вашему оптимизму :lol:
Я вон просил подсказать по Universal Analytics - правильно написал код или неправильно? Никто так и не сказал...

Сообщение отредактировал phoenixaa - 24.8.2015, 12:02
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 24.8.2015, 12:07; Ответить: Risk
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 804
Регистрация: 5.7.2010
Из: Интернета
Поблагодарили: 146 раз
Репутация:   41  


Цитата(docdie @ 24.8.2015, 11:46) *
Risk,
Там отсутствует информация по тому или иному движку, стандартная информация по robots.txt везде есть. Эта страница не даст инфу по тому, как закрыть дубли, который создаёт движок сайта.

рассказываю информацию, "как найти дубли страниц"
1. заходите в ЯВМ
2. Переходите на страницу "странц в поиске"
3. Ищите дубли
4. Пишите роботс.тхт
данная методика подходит для любых CMS и сайтов (так же можно просто перейти в поиск яндекса и нажать кнопочку "искать ан сайте")
имеются отличия от готыв решений, а именно:
1. Собственный роботс без лишних и ненужных строк
2. У готовых роботсов отсутсвуют доп-ые все возможные модули, которые испольтзуете вы.
3. И не всегда готовый роботс будет правильным.

Минусов не наблюдаю.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Куплю посты, краткие обзоры, место под статью до 3 у.е.
тематика только Андроид, мобильные технологии, hi-end, планшеты
11 jorjo22 3136 Сегодня, 11:01
автор: jorjo22
Открытая тема (нет новых ответов) Малостраничники под download трафик ещё актуальны?
3 rokot 714 25.5.2018, 21:57
автор: rokot
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыEdu-Money - партнерка под студентческий траф: 55% за новый заказ, 20% ребилл (сразу).
137 EduMoney 25566 25.5.2018, 17:42
автор: EduMoney
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыEssayPro.Money партнерка под студенческий траф 50%+20% комиссии
77 Mur4ikovsky 15804 24.5.2018, 14:56
автор: EssayPro
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыEdu-Cash.com - ПП под бурж студенческий траф, до 75% за первые заказы, до 35% за ребиллы, до 10% реферальных!
35 EduCash 9751 22.5.2018, 19:04
автор: EduCash


 



RSS Текстовая версия Сейчас: 28.5.2018, 12:53
Дизайн