X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Составление robots и sitemap, Сабж
stixia007
stixia007
Topic Starter сообщение 22.7.2014, 16:49; Ответить: stixia007
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 537
Регистрация: 23.2.2013
Поблагодарили: 19 раз
Репутация:   1  


Подскажите как правильно составить файл robots.

Мой дефолтный вариант:

Код
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search


Я изменил на:

Код
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /2010/
Disallow: /2011/
Disallow: /tags/
Disallow: /page/
Disallow: /page/
Disallow: */page/
Host: www.мой-сайт.ru


Подскажите, ничего не накосячил?

И как создать карту сайта? Просто на http://www.cy-pr.com/tools/sitemap/? И ничего в ней править не нужно для оптимизации как в роботсе?

Сообщение отредактировал stixia007 - 22.7.2014, 16:50
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bobur
bobur
сообщение 22.7.2014, 17:08; Ответить: bobur
Сообщение #2


Мастер Datalife Engine
******

Группа: Active User
Сообщений: 1421
Регистрация: 12.11.2009
Из: Планета Земля
Поблагодарили: 195 раз
Репутация:   59  


Карту сайта само движок генерирует...

Или если хотите html карту то есть доп модули...


--------------------
Мастер по Datalife Engine на ТУТ. ICQ:359803651.

CверхБыстрые VPS/VDS по системе Все включено! 60% скидка. Купон:60OFFAVPS
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Eserador
Eserador
сообщение 22.7.2014, 17:11; Ответить: Eserador
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 849
Регистрация: 17.5.2013
Из: Киев
Поблагодарили: 250 раз
Репутация:   22  


stixia007, роботс составляется фактически индивидуально для каждого сайта (опираясь на платформу, если он на готовой CMS).
Т.е. не видя сайта ничего сказать невозможно. Как я понял - Вы заменили свой роботс на тот, который просто нашли где-то в интернете, что есть не правильно. Оставьте родной роботс и допиливайте его.

Карту сайта некоторые платформы генерят сами. В случае с сервисом что Вы указали - он подтаскивает даже ссылки, которые запрещены в роботсе, что также весьма не хорошо. И изменить функцию сервиса (дабы он учитывал запрет) невозможно.


--------------------
Белый SEO-колдун
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stixia007
stixia007
Topic Starter сообщение 22.7.2014, 17:31; Ответить: stixia007
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 537
Регистрация: 23.2.2013
Поблагодарили: 19 раз
Репутация:   1  


Eserador, ясно спасиб. Не... 2-й вариант это я сам допиливал. Нашёл на этом сайте статью для Dle а у меня сайт на dle и начал делать как там. Вот решил всё таки спросить у опытных, ничего не пропустил.

bobur, у меня движок DLE и он ничего не генерит :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Eserador
Eserador
сообщение 22.7.2014, 17:47; Ответить: Eserador
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 849
Регистрация: 17.5.2013
Из: Киев
Поблагодарили: 250 раз
Репутация:   22  


Цитата(stixia007 @ 22.7.2014, 16:31) *
у меня движок DLE и он ничего не генерит

Скорее всего это решается путем подключения дополнительного модуля/плагина и т.д.

Цитата(stixia007 @ 22.7.2014, 16:31) *
Не... 2-й вариант это я сам допиливал. Нашёл на этом сайте статью для Dle а у меня сайт на dle и начал делать как там.

Смотрите только не позапрещайте нужные страницы :)


--------------------
Белый SEO-колдун
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bobur
bobur
сообщение 22.7.2014, 19:10; Ответить: bobur
Сообщение #6


Мастер Datalife Engine
******

Группа: Active User
Сообщений: 1421
Регистрация: 12.11.2009
Из: Планета Земля
Поблагодарили: 195 раз
Репутация:   59  


stixia007, поспотрите в полных настройках в админке... Там у всех есть... =)


--------------------
Мастер по Datalife Engine на ТУТ. ICQ:359803651.

CверхБыстрые VPS/VDS по системе Все включено! 60% скидка. Купон:60OFFAVPS
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
andpolosin
andpolosin
сообщение 23.7.2014, 16:02; Ответить: andpolosin
Сообщение #7


Участник
***

Группа: Banned
Сообщений: 150
Регистрация: 22.3.2013
Поблагодарили: 4 раза
Репутация:   1  


Вот я себе делал правильный роботс. Можешь по такому сделать. Он правильный:
Код
User-agent: *
Disallow: /*print
Disallow: /2013/
Disallow: /2014/
Disallow: /tags/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /index.php
Disallow: /index.php?do=register
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Disallow: /*?*
Sitemap: http://сайт.com/sitemap.xml
Host: сайт.com


--------------------
мошенник и клон
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stixia007
stixia007
Topic Starter сообщение 23.7.2014, 17:57; Ответить: stixia007
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 537
Регистрация: 23.2.2013
Поблагодарили: 19 раз
Репутация:   1  


По поводу роботс, тут не много не понятно:

Вот это мой родной, Почему на не которых файлах стоит *? Да и составлен он как то не так что ли :)

Код
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search


Автор статьи http://wovanich.ru/webmasteru/46-vnutrenny...ife-engine.html рекомендует вот так для Dle:

Код
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: your.site
Sitemap: http://your.site/sitemap.xml


Видно что он отличается от моего и звёздочек нету и составлен по другому чу-чуть:) Запутался я маленько.

А на каре сайта, там только для Гугл и Яндекс, а для других? И функции создания карты я хз какие указывать.

Сообщение отредактировал stixia007 - 23.7.2014, 17:58
Прикрепленные файлы
Прикрепленный файл  __________.JPG ( 35,94 килобайт ) Кол-во скачиваний: 0
 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bobur
bobur
сообщение 23.7.2014, 20:40; Ответить: bobur
Сообщение #9


Мастер Datalife Engine
******

Группа: Active User
Сообщений: 1421
Регистрация: 12.11.2009
Из: Планета Земля
Поблагодарили: 195 раз
Репутация:   59  


Вот мой robots.txt http://0bike.ru/robots.txt - И это у меня оно правильная...


--------------------
Мастер по Datalife Engine на ТУТ. ICQ:359803651.

CверхБыстрые VPS/VDS по системе Все включено! 60% скидка. Купон:60OFFAVPS
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stixia007
stixia007
Topic Starter сообщение 23.7.2014, 22:07; Ответить: stixia007
Сообщение #10


Завсегдатай
*****

Группа: Active User
Сообщений: 537
Регистрация: 23.2.2013
Поблагодарили: 19 раз
Репутация:   1  


bobur, ну мне сказали можно ещё каким то способом закрыть папки, файлы. У меня на сайте только не нужного барахла просто ппц.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 514 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) Ядро Пузатское | Составление семантики: парсинг, чистка, группировка, тз
Составление семантики: парсинг, чистка, группировка, тз
0 msbot 444 5.11.2017, 12:00
автор: msbot
Открытая тема (нет новых ответов) В Вебмастере появился приоритетный переобход Sitemap
Новый функционал в Вебмастере
4 4ester7 1236 23.10.2017, 14:10
автор: ProxyMania
Открытая тема (нет новых ответов) Ошибка карты сайта Sitemap. Помогите исправить, пожалуйста
8 July82 2964 22.10.2017, 10:00
автор: komarik_vlad
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1194 26.9.2017, 13:16
автор: kstnews


 



RSS Текстовая версия Сейчас: 18.12.2017, 9:19
Дизайн