Помощник
|
Robots.txt Dle Версия Demo > Под ver 10.4, Плюс ещё вопросы по движку |
docdie
|
Сообщение
#1
|
||
|
|
||
|
|||
phoenixaa |
24.8.2015, 2:09;
Ответить: phoenixaa
Сообщение
#2
|
|
Так возмите какой-нибудь видеокурс по установке и настройке ДЛЕ (Например, такой nnm-club._me/forum/viewtopic.php?t=434637). Их же масса в инете. И настрайвайте под себя. Для продвинутых - можно почитать блог Алаева на эту тему alaev._info/blog/post/3900. Только внедрять такие вещи нужно акуратно... , а то чего-нибудь плохое может случиться...
Сообщение отредактировал phoenixaa - 24.8.2015, 2:10 |
|
|
docdie
|
Сообщение
#3
|
|
phoenixaa,
Для внимательности: Версия DEMO, без редактирования кода файлов движка. Информация там устаревшая. Нужна актуальная информация под DLE 10.4 и желательно под DEMO, там явно свои нюансы. |
|
|
phoenixaa |
24.8.2015, 2:45;
Ответить: phoenixaa
Сообщение
#4
|
|
Если движок не трогать, то возьмите курс 2011 года - этого достаточно, чтобы Robots.txt настроить. Он не менялся последних 5 лет и ничего нового здесь не требуется. В 2015 никто про это писать не станет - давно все извесно и разницы для Robots.txt 9.6 или 10.4 нет.
У меня у самого ДЛЕ 10.4 все работает, так что могу предложить как образец: Развернуть/Свернуть
User-agent: *
Disallow: /*?* Disallow: /*print Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/* Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Disallow: /*do=search&mode=advanced Disallow: /engine/modules/antibot/antibot.php Disallow: /pnews/ Allow: /engine/classes/min/index.php?charset=utf-8&g=general&15 Host: site.ru Sitemap: http://site.ru/sitemap.xml Забыл написать вы неправильно сформулировали вопрос. Нужно не Robots.txt а файл .htaccess Там все редиректы и т. д. Развернуть/Свернуть
Код AddDefaultCharset utf-8 DirectoryIndex index.php RewriteEngine On Options +Indexes Options +FollowSymLinks # Редирект для категорий (чтобы в конце URL был /) RewriteBase / RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteCond %{REQUEST_URI} !-f RewriteCond %{REQUEST_URI} !/$ RewriteCond %{REQUEST_URI} !.html$ RewriteCond %{REQUEST_URI} !.xml$ RewriteRule (.+) $1/ [R=301,L] RewriteCond %{HTTP_HOST} !^site.ru$ RewriteRule (.*) http://site.ru/$1 [R=301,L] # Редиректы RewriteRule ^page/([0-9]+)(/?)$ index.php?cstart=$1 [L] # Сам пост RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6&seourl=$6 [L] RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L] RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L] RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4&seourl=$4 [L] RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$4&news_page=$2&cstart=$3&seourl=$5&seocat=$1 [L] RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$3&news_page=$2&seourl=$4&seocat=$1 [L] RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html$ engine/print.php?news_page=$2&newsid=$3&seourl=$4&seocat=$1 [L] RewriteRule ^([^.]+)/([0-9]+)-(.*).html$ index.php?newsid=$2&seourl=$3&seocat=$1 [L] RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$3&news_page=$1&cstart=$2&seourl=$4 [L] RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html$ index.php?newsid=$2&news_page=$1&seourl=$3 [L] RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html$ engine/print.php?news_page=$1&newsid=$2&seourl=$3 [L] RewriteRule ^([0-9]+)-(.*).html$ index.php?newsid=$1&seourl=$2 [L] # За день RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L] RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L] # За весь месяц RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L] RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L] # Вывод за весь год RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L] RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L] # вывод отдельному тегу RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L] RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L] # поиск по доп полям RewriteRule ^xfsearch/([^/]*)(/?)+$ index.php?do=xfsearch&xf=$1 [L] RewriteRule ^xfsearch/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=xfsearch&xf=$1&cstart=$2 [L] # вывод для отдельного юзера RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L] RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L] RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L] RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L] RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L] RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L] # вывод всех последних новостей RewriteRule ^lastnews(/?)+$ index.php?do=lastnews [L] RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L] # вывод в виде каталога RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L] RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L] RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L] # вывод непрочитанных статей RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L] RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L] # вывод избранных статей RewriteRule ^favorites(/?)+$ index.php?do=favorites [L] RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L] RewriteRule ^rules.html$ index.php?do=rules [L] RewriteRule ^statistics.html$ index.php?do=stats [L] RewriteRule ^addnews.html$ index.php?do=addnews [L] RewriteRule ^rss.xml$ engine/rss.php [L] RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L] RewriteCond %{REQUEST_FILENAME} !-d RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L] RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L] RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1&seourl=$2 [L] RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1&seourl=$1 [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteRule ^([^/]+).html$ index.php?do=static&page=$1&seourl=$1 [L] # 301 редирект для страниц сайта # Перенаправление домена с www на не-www Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^www.site\.ru$ RewriteRule (.*) http://site.ru/$1 [R=301,L] # убираем из адреса главной страницы index.php RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/ RewriteRule ^index\.php$ http://site.ru [R=301,L] # Включаем кэш в браузерах посетителей <ifModule mod_headers.c> # Все html и htm файлы будут храниться в кэше браузера один день <FilesMatch "\.(html|htm)$"> Header set Cache-Control "max-age=43200" </FilesMatch> # Все css, javascript и текстовые файлы будут храниться в кэше браузера одну неделю <FilesMatch "\.(js|css|txt)$"> Header set Cache-Control "max-age=604800" </FilesMatch> # Все флэш файлы и изображения будут храниться в кэше браузера один месяц <FilesMatch "\.(flv|swf|ico|gif|jpg|jpeg|png)$"> Header set Cache-Control "max-age=2592000" </FilesMatch> # Отключаем кеширование php и других служебных файлов <FilesMatch "\.(pl|php|cgi|spl|scgi|fcgi)$"> Header unset Cache-Control </FilesMatch> </IfModule> Должен выглядеть как-то так (.htaccess в корне сайта). Удачи Сообщение отредактировал phoenixaa - 24.8.2015, 2:50 |
|
|
Risk |
24.8.2015, 11:22;
Ответить: Risk
Сообщение
#5
|
|
для оптимальной и правильной настройке вашего сайта, я бы вам посоветовал бы изучить эту не большую статью
Цитата я уверен, изучив ее, у вас навсегда отпадут вопросы такого рода, и вы сами сможете настраивать robots.txt для ЛЮБЫХ cms и не только. |
|
|
docdie
|
Сообщение
#6
|
|
phoenixaa,
Если бы движок не менялся, Алаев бы каждые 6-12 месяцев не выпускал новые посты и не делал корректировки существующих мануалов под новую версию DLE. Тот, что вы указали, по сути стандартный, нужно полное удаление статических страниц, Page на всех страницах и категориях и т.п. В общем закрыть все дубли без исключений, так как с одним проектом такая проблема произошла, повторить не охота, в google И yandex были около 30-35% дубликатов. Алаев предлагает много способов закрыть дубли и прочие проблемы посредством внося изменения в сам движок, но не в robots.txt, мне нужно учесть правки движка именно в самом файле robots.txt, так как demo версия закрыта от правки. Risk, Там отсутствует информация по тому или иному движку, стандартная информация по robots.txt везде есть. Эта страница не даст инфу по тому, как закрыть дубли, который создаёт движок сайта. |
|
|
phoenixaa |
24.8.2015, 12:00;
Ответить: phoenixaa
Сообщение
#7
|
|
docdie, на этом форуме люди задают конкретные вопросы и половина так и не получает ответов...
Если вы думаете, что в теме кто-то напишет идеально непосредственно под ваш проект, да еще не видя самого сайта, то я прямо безмерно завидую вашему оптимизму Я вон просил подсказать по Universal Analytics - правильно написал код или неправильно? Никто так и не сказал... Сообщение отредактировал phoenixaa - 24.8.2015, 12:02 |
|
|
Risk |
24.8.2015, 12:07;
Ответить: Risk
Сообщение
#8
|
|
|
Risk, Там отсутствует информация по тому или иному движку, стандартная информация по robots.txt везде есть. Эта страница не даст инфу по тому, как закрыть дубли, который создаёт движок сайта. рассказываю информацию, "как найти дубли страниц" 1. заходите в ЯВМ 2. Переходите на страницу "странц в поиске" 3. Ищите дубли 4. Пишите роботс.тхт данная методика подходит для любых CMS и сайтов (так же можно просто перейти в поиск яндекса и нажать кнопочку "искать ан сайте") имеются отличия от готыв решений, а именно: 1. Собственный роботс без лишних и ненужных строк 2. У готовых роботсов отсутсвуют доп-ые все возможные модули, которые испольтзуете вы. 3. И не всегда готовый роботс будет правильным. Минусов не наблюдаю.
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Ссылки за которые не стыдно! Качественный линк билдинг сервис под Бурж от Westrank. Честный прайс. | 63 | DaoDog | 47007 | Сегодня, 12:05 автор: Omaxis |
|
Прототипирование + дизайн + вёрстка = красивый и эффективный сайт под ключ | 0 | bunneh | 320 | 16.4.2024, 18:02 автор: bunneh |
|
Burzh.top|Партнерская программа под любой вид трафика (email, спам, УБТ) | 2 | cryptius | 761 | 16.4.2024, 17:50 автор: cryptius |
|
Hyper.hosting - сервера под любые задачи [разрешены dmca, гэмблинг, адалт и пр.] Лучшие сервера по доступной цене |
32 | Hyper_Hosting | 9145 | 15.4.2024, 13:03 автор: Hyper_Hosting |
|
SEO Линк Билдинг под Бурж | Вечные ссылки США, Европа и Мир с Гарантией | 20 | Needmylink1 | 6999 | 12.4.2024, 23:32 автор: Needmylink1 |
Текстовая версия | Сейчас: 19.4.2024, 13:27 |