X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Составление robots и sitemap, Сабж
stixia007
stixia007
Topic Starter сообщение 22.7.2014, 16:49; Ответить: stixia007
Сообщение #1


Подскажите как правильно составить файл robots.

Мой дефолтный вариант:

Код
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search


Я изменил на:

Код
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /2010/
Disallow: /2011/
Disallow: /tags/
Disallow: /page/
Disallow: /page/
Disallow: */page/
Host: www.мой-сайт.ru


Подскажите, ничего не накосячил?

И как создать карту сайта? Просто на http://www.cy-pr.com/tools/sitemap/? И ничего в ней править не нужно для оптимизации как в роботсе?

Сообщение отредактировал stixia007 - 22.7.2014, 16:50
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bobur
bobur
сообщение 22.7.2014, 17:08; Ответить: bobur
Сообщение #2


Карту сайта само движок генерирует...

Или если хотите html карту то есть доп модули...


--------------------
Мастер по Datalife Engine на ТУТ. ICQ:359803651.

CверхБыстрые VPS/VDS по системе Все включено! 60% скидка. Купон:60OFFAVPS
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Eserador
Eserador
сообщение 22.7.2014, 17:11; Ответить: Eserador
Сообщение #3


stixia007, роботс составляется фактически индивидуально для каждого сайта (опираясь на платформу, если он на готовой CMS).
Т.е. не видя сайта ничего сказать невозможно. Как я понял - Вы заменили свой роботс на тот, который просто нашли где-то в интернете, что есть не правильно. Оставьте родной роботс и допиливайте его.

Карту сайта некоторые платформы генерят сами. В случае с сервисом что Вы указали - он подтаскивает даже ссылки, которые запрещены в роботсе, что также весьма не хорошо. И изменить функцию сервиса (дабы он учитывал запрет) невозможно.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stixia007
stixia007
Topic Starter сообщение 22.7.2014, 17:31; Ответить: stixia007
Сообщение #4


Eserador, ясно спасиб. Не... 2-й вариант это я сам допиливал. Нашёл на этом сайте статью для Dle а у меня сайт на dle и начал делать как там. Вот решил всё таки спросить у опытных, ничего не пропустил.

bobur, у меня движок DLE и он ничего не генерит :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Eserador
Eserador
сообщение 22.7.2014, 17:47; Ответить: Eserador
Сообщение #5


Цитата(stixia007 @ 22.7.2014, 16:31) *
у меня движок DLE и он ничего не генерит

Скорее всего это решается путем подключения дополнительного модуля/плагина и т.д.

Цитата(stixia007 @ 22.7.2014, 16:31) *
Не... 2-й вариант это я сам допиливал. Нашёл на этом сайте статью для Dle а у меня сайт на dle и начал делать как там.

Смотрите только не позапрещайте нужные страницы :)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bobur
bobur
сообщение 22.7.2014, 19:10; Ответить: bobur
Сообщение #6


stixia007, поспотрите в полных настройках в админке... Там у всех есть... =)


--------------------
Мастер по Datalife Engine на ТУТ. ICQ:359803651.

CверхБыстрые VPS/VDS по системе Все включено! 60% скидка. Купон:60OFFAVPS
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
andpolosin
andpolosin
сообщение 23.7.2014, 16:02; Ответить: andpolosin
Сообщение #7


Вот я себе делал правильный роботс. Можешь по такому сделать. Он правильный:
Код
User-agent: *
Disallow: /*print
Disallow: /2013/
Disallow: /2014/
Disallow: /tags/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /index.php
Disallow: /index.php?do=register
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Disallow: /*?*
Sitemap: http://сайт.com/sitemap.xml
Host: сайт.com


--------------------
мошенник и клон
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stixia007
stixia007
Topic Starter сообщение 23.7.2014, 17:57; Ответить: stixia007
Сообщение #8


По поводу роботс, тут не много не понятно:

Вот это мой родной, Почему на не которых файлах стоит *? Да и составлен он как то не так что ли :)

Код
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search


Автор статьи http://wovanich.ru/webmasteru/46-vnutrenny...ife-engine.html рекомендует вот так для Dle:

Код
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: your.site
Sitemap: http://your.site/sitemap.xml


Видно что он отличается от моего и звёздочек нету и составлен по другому чу-чуть:) Запутался я маленько.

А на каре сайта, там только для Гугл и Яндекс, а для других? И функции создания карты я хз какие указывать.

Сообщение отредактировал stixia007 - 23.7.2014, 17:58
Прикрепленные файлы
Прикрепленный файл  __________.JPG ( 35,94 килобайт ) Кол-во скачиваний: 0
 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bobur
bobur
сообщение 23.7.2014, 20:40; Ответить: bobur
Сообщение #9


Вот мой robots.txt http://0bike.ru/robots.txt - И это у меня оно правильная...


--------------------
Мастер по Datalife Engine на ТУТ. ICQ:359803651.

CверхБыстрые VPS/VDS по системе Все включено! 60% скидка. Купон:60OFFAVPS
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stixia007
stixia007
Topic Starter сообщение 23.7.2014, 22:07; Ответить: stixia007
Сообщение #10


bobur, ну мне сказали можно ещё каким то способом закрыть папки, файлы. У меня на сайте только не нужного барахла просто ппц.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Заказать Копирайтинг | Проработка Семантического ядра | Составление ТЗ
0 yehCANA 921 19.9.2022, 18:33
автор: yehCANA
Открытая тема (нет новых ответов) Требуется ТЗ-мейкер (составление плана статьи)
0 Gusman 848 6.5.2022, 15:08
автор: Gusman
Открытая тема (нет новых ответов) Составление семантического ядра для сайта.
1 Coremix 7494 26.5.2020, 23:02
автор: Kiloan_Frost
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыСоставление качественных ТЗ для ваших статей
1 TZStudio 7405 20.12.2019, 10:19
автор: FIvYUr
Открытая тема (нет новых ответов) Ищу человека на составление планов статей для информационного сайта
2 MadHatter77 2877 8.10.2018, 2:15
автор: MadHatter77


 



RSS Текстовая версия Сейчас: 29.3.2024, 6:01
Дизайн