X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Robots.txt Dle Версия Demo > Под ver 10.4, Плюс ещё вопросы по движку
docdie
docdie
Topic Starter сообщение 23.8.2015, 23:00; Ответить: docdie
Сообщение #1


Вечер добрый!

Подскажите полноценный, качественный, полный Robots.txt под версию DLE 10.4 DEMO.
Чтобы не было дубликатов, чтобы никакого повторения контента не было..

Дополнительные вопросы: Нужно ли что то ещё дописывать в htaccess файл версии DLE 10.4, чтобы тоже исключить дубли и всевозможные проблемы ?

Конечный вопрос: Demo версия движка не создаёт внешних ссылок на сайте/страницах/статических новостях ? Скрытых ссылок не будет ?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
phoenixaa
phoenixaa
сообщение 24.8.2015, 2:09; Ответить: phoenixaa
Сообщение #2


Так возмите какой-нибудь видеокурс по установке и настройке ДЛЕ (Например, такой nnm-club._me/forum/viewtopic.php?t=434637). Их же масса в инете. И настрайвайте под себя. Для продвинутых - можно почитать блог Алаева на эту тему alaev._info/blog/post/3900. Только внедрять такие вещи нужно акуратно... :D , а то чего-нибудь плохое может случиться... :facepalm:

Сообщение отредактировал phoenixaa - 24.8.2015, 2:10
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
docdie
docdie
Topic Starter сообщение 24.8.2015, 2:16; Ответить: docdie
Сообщение #3


phoenixaa,
Для внимательности: Версия DEMO, без редактирования кода файлов движка.
Информация там устаревшая. Нужна актуальная информация под DLE 10.4 и желательно под DEMO, там явно свои нюансы.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
phoenixaa
phoenixaa
сообщение 24.8.2015, 2:45; Ответить: phoenixaa
Сообщение #4


Если движок не трогать, то возьмите курс 2011 года - этого достаточно, чтобы Robots.txt настроить. Он не менялся последних 5 лет и ничего нового здесь не требуется. В 2015 никто про это писать не станет - давно все извесно и разницы для Robots.txt 9.6 или 10.4 нет.
У меня у самого ДЛЕ 10.4 все работает, так что могу предложить как образец:
Развернуть/Свернуть
User-agent: *
Disallow: /*?*
Disallow: /*print
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/*
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=search&mode=advanced
Disallow: /engine/modules/antibot/antibot.php
Disallow: /pnews/
Allow: /engine/classes/min/index.php?charset=utf-8&g=general&15
Host: site.ru
Sitemap: http://site.ru/sitemap.xml


Забыл написать вы неправильно сформулировали вопрос. Нужно не Robots.txt а файл .htaccess

Там все редиректы и т. д.



Развернуть/Свернуть
Код
AddDefaultCharset utf-8
DirectoryIndex index.php

RewriteEngine On
Options +Indexes
Options +FollowSymLinks
# Редирект для категорий (чтобы в конце URL был /)
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !-f
RewriteCond %{REQUEST_URI} !/$
RewriteCond %{REQUEST_URI} !.html$
RewriteCond %{REQUEST_URI} !.xml$
RewriteRule (.+) $1/ [R=301,L]


RewriteCond %{HTTP_HOST} !^site.ru$
RewriteRule (.*) http://site.ru/$1 [R=301,L]

# Редиректы
RewriteRule ^page/([0-9]+)(/?)$ index.php?cstart=$1 [L]

# Сам пост
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6&seourl=$6 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4&seourl=$4 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$4&news_page=$2&cstart=$3&seourl=$5&seocat=$1 [L]
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$3&news_page=$2&seourl=$4&seocat=$1 [L]
RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html$ engine/print.php?news_page=$2&newsid=$3&seourl=$4&seocat=$1 [L]
RewriteRule ^([^.]+)/([0-9]+)-(.*).html$ index.php?newsid=$2&seourl=$3&seocat=$1 [L]

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$3&news_page=$1&cstart=$2&seourl=$4 [L]
RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$2&news_page=$1&seourl=$3 [L]
RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html$ engine/print.php?news_page=$1&newsid=$2&seourl=$3 [L]
RewriteRule ^([0-9]+)-(.*).html$ index.php?newsid=$1&seourl=$2 [L]

# За день
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]
# За весь месяц
RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]
# Вывод за весь год
RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]
RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]
# вывод отдельному тегу
RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]
RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]
# поиск по доп полям
RewriteRule ^xfsearch/([^/]*)(/?)+$ index.php?do=xfsearch&xf=$1 [L]
RewriteRule ^xfsearch/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=xfsearch&xf=$1&cstart=$2 [L]
# вывод для отдельного юзера
RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]
RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]
# вывод всех последних новостей
RewriteRule ^lastnews(/?)+$ index.php?do=lastnews [L]
RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]
# вывод в виде каталога
RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]
# вывод непрочитанных статей
RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]
RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]
# вывод избранных статей
RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]
RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]

RewriteRule ^rules.html$ index.php?do=rules [L]
RewriteRule ^statistics.html$ index.php?do=stats [L]
RewriteRule ^addnews.html$ index.php?do=addnews [L]
RewriteRule ^rss.xml$ engine/rss.php [L]
RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]

RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]
RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]
RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1&seourl=$2 [L]
RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1&seourl=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^/]+).html$ index.php?do=static&page=$1&seourl=$1 [L]

# 301 редирект для страниц сайта

# Перенаправление домена с www на не-www
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.site\.ru$
RewriteRule (.*) http://site.ru/$1 [R=301,L]



# убираем из адреса главной страницы index.php
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://site.ru [R=301,L]

# Включаем кэш в браузерах посетителей
<ifModule mod_headers.c>
        
     # Все html и htm файлы будут храниться в кэше браузера один день
     <FilesMatch "\.(html|htm)$">
         Header set Cache-Control "max-age=43200"
     </FilesMatch>
    # Все css, javascript и текстовые файлы будут храниться в кэше браузера одну неделю
     <FilesMatch "\.(js|css|txt)$">
         Header set Cache-Control "max-age=604800"
    </FilesMatch>
    # Все флэш файлы и изображения будут храниться в кэше браузера один месяц
    <FilesMatch "\.(flv|swf|ico|gif|jpg|jpeg|png)$">
         Header set Cache-Control "max-age=2592000"
    </FilesMatch>
     # Отключаем кеширование php и других служебных файлов
     <FilesMatch "\.(pl|php|cgi|spl|scgi|fcgi)$">
        Header unset Cache-Control
    </FilesMatch>
</IfModule>




Должен выглядеть как-то так (.htaccess в корне сайта).
Удачи :)

Сообщение отредактировал phoenixaa - 24.8.2015, 2:50


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 24.8.2015, 11:22; Ответить: Risk
Сообщение #5


для оптимальной и правильной настройке вашего сайта, я бы вам посоветовал бы изучить эту не большую статью
Цитата

я уверен, изучив ее, у вас навсегда отпадут вопросы такого рода, и вы сами сможете настраивать robots.txt для ЛЮБЫХ cms и не только.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
docdie
docdie
Topic Starter сообщение 24.8.2015, 11:46; Ответить: docdie
Сообщение #6


phoenixaa,
Если бы движок не менялся, Алаев бы каждые 6-12 месяцев не выпускал новые посты и не делал корректировки существующих мануалов под новую версию DLE.
Тот, что вы указали, по сути стандартный, нужно полное удаление статических страниц, Page на всех страницах и категориях и т.п. В общем закрыть все дубли без исключений, так как с одним проектом такая проблема произошла, повторить не охота, в google И yandex были около 30-35% дубликатов. Алаев предлагает много способов закрыть дубли и прочие проблемы посредством внося изменения в сам движок, но не в robots.txt, мне нужно учесть правки движка именно в самом файле robots.txt, так как demo версия закрыта от правки.

Risk,
Там отсутствует информация по тому или иному движку, стандартная информация по robots.txt везде есть. Эта страница не даст инфу по тому, как закрыть дубли, который создаёт движок сайта.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
phoenixaa
phoenixaa
сообщение 24.8.2015, 12:00; Ответить: phoenixaa
Сообщение #7


docdie, на этом форуме люди задают конкретные вопросы и половина так и не получает ответов...
Если вы думаете, что в теме кто-то напишет идеально непосредственно под ваш проект, да еще не видя самого сайта, то я прямо безмерно завидую вашему оптимизму :lol:
Я вон просил подсказать по Universal Analytics - правильно написал код или неправильно? Никто так и не сказал...

Сообщение отредактировал phoenixaa - 24.8.2015, 12:02
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 24.8.2015, 12:07; Ответить: Risk
Сообщение #8


Цитата(docdie @ 24.8.2015, 11:46) *
Risk,
Там отсутствует информация по тому или иному движку, стандартная информация по robots.txt везде есть. Эта страница не даст инфу по тому, как закрыть дубли, который создаёт движок сайта.

рассказываю информацию, "как найти дубли страниц"
1. заходите в ЯВМ
2. Переходите на страницу "странц в поиске"
3. Ищите дубли
4. Пишите роботс.тхт
данная методика подходит для любых CMS и сайтов (так же можно просто перейти в поиск яндекса и нажать кнопочку "искать ан сайте")
имеются отличия от готыв решений, а именно:
1. Собственный роботс без лишних и ненужных строк
2. У готовых роботсов отсутсвуют доп-ые все возможные модули, которые испольтзуете вы.
3. И не всегда готовый роботс будет правильным.

Минусов не наблюдаю.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Ссылки за которые не стыдно! Качественный линк билдинг сервис под Бурж от Westrank. Честный прайс.
63 DaoDog 47007 Сегодня, 12:05
автор: Omaxis
Открытая тема (нет новых ответов) Прототипирование + дизайн + вёрстка = красивый и эффективный сайт под ключ
0 bunneh 320 16.4.2024, 18:02
автор: bunneh
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыBurzh.top|Партнерская программа под любой вид трафика (email, спам, УБТ)
2 cryptius 761 16.4.2024, 17:50
автор: cryptius
Горячая тема (нет новых ответов) Hyper.hosting - сервера под любые задачи [разрешены dmca, гэмблинг, адалт и пр.]
Лучшие сервера по доступной цене
32 Hyper_Hosting 9145 15.4.2024, 13:03
автор: Hyper_Hosting
Открытая тема (нет новых ответов) SEO Линк Билдинг под Бурж | Вечные ссылки США, Европа и Мир с Гарантией
20 Needmylink1 6999 12.4.2024, 23:32
автор: Needmylink1


 



RSS Текстовая версия Сейчас: 19.4.2024, 13:27
Дизайн